💻 computer science

FRAP: Fisher–Rao Geometric Trajectory Pruning for Class-Aware Dataset Selection

O artigo propõe o FRAP, um framework de poda de conjuntos de dados consciente de classes que utiliza a geometria de Fisher–Rao para quantificar a trajetória preditiva de amostras de treinamento por meio de uma pontuação de Deslocamento de Informação-Geométrica Eficaz, permitindo a seleção eficiente de dados informativos para reduzir custos computacionais enquanto mantém o desempenho de classificação.

Autores originais: Bahar Niknam, Hedieh Sajedi

Publicado 2026-09-28

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Bahar Niknam, Hedieh Sajedi

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O aprendizado profundo transformou a maneira como as máquinas veem e compreendem o mundo, impulsionando desde diagnósticos médicos até carros autônomos. Esse progresso baseia-se em alimentar sistemas de inteligência artificial com quantidades massivas de exemplos rotulados, permitindo que aprendam padrões ao ajustar suas configurações internas. No entanto, à medida que esses conjuntos de dados cresceram para incluir milhões de imagens, o custo de processá-los tornou-se um fardo significativo, exigindo imensa capacidade de computação e memória. Pesquisadores há muito suspeitam que nem todo exemplo nessas bibliotecas gigantescas é igualmente útil; de fato, grande parte dos dados pode ser redundante, oferecendo pouca informação nova uma vez que o sistema tenha aprendido o básico. O desafio, então, é identificar quais exemplos específicos são essenciais para ensinar um modelo e quais podem ser descartados com segurança sem prejudicar seu desempenho.

Uma equipe de pesquisadores da Universidade de Teerã desenvolveu um novo método chamado FRAP para resolver esse problema. Em vez de tratar os pontos de dados como itens estáticos a serem julgados por uma pontuação única, os pesquisadores observaram como a compreensão do modelo sobre cada imagem mudava ao longo do tempo. Eles treinaram um modelo com o conjunto de dados completo e registraram suas previsões ao final de cada sessão de treinamento. Ao rastrear o caminho que essas previsões percorreram conforme o modelo aprendia, eles puderam ver a "jornada" única de cada imagem. Algumas imagens fizeram o modelo oscilar violentamente entre diferentes palpites antes de se estabelecer na resposta correta, enquanto outras foram reconhecidas imediatamente e permaneceram consistentes. A equipe percebeu que a forma e o comprimento desses caminhos de previsão detinham a chave para identificar os dados de treinamento mais valiosos.

Para medir esses caminhos, os pesquisadores utilizaram um conceito matemático que trata a probabilidade como um espaço curvo, permitindo calcular a verdadeira distância entre diferentes estados de incerteza. Eles combinaram essa medição de movimento com uma verificação simples de quão confiante o modelo estava na resposta correta. Isso criou um sinal duplo: uma parte media o quanto o pensamento do modelo evoluiu, e a outra media o quão difícil era para o modelo dominar a imagem. Crucialmente, o método não apenas classifica todas as imagens da mais fácil para a mais difícil em todo o espectro. Em vez disso, ele primeiro decide quantos itens manter de cada categoria, garantindo que grupos raros ou difíceis não sejam acidentalmente eliminados. Em seguida, seleciona os melhores exemplos dentro de cada grupo com base em suas jornadas de aprendizado únicas.

Ao ser testado em bibliotecas de imagens padrão contendo dezenas de milhares de fotos, essa abordagem superou consistentemente os métodos existentes. Em um conjunto de dados com dez categorias, o novo método alcançou uma precisidade de 95,58 por cento ao manter apenas 30 por cento dos dados, um resultado superior a qualquer outra técnica testada. Mesmo em um conjunto de dados muito maior, com mil categorias, o método manteve a maior precisão entre seus competidores, atingindo quase 80 por cento de precisão com apenas metade dos dados originais. Os pesquisadores descobriram que olhar simplesmente para a previsão final de uma imagem não era suficiente; a história de como o modelo chegou a essa previsão importava tanto quanto. Ao preservar a mistura específica de exemplos fáceis e difíceis de cada categoria, o sistema pôde aprender tão bem quanto a partir de uma fração dos dados.

O estudo sugere que a maneira mais eficaz de encolher um conjunto de dados é respeitar a diversidade do próprio processo de aprendizado. Os pesquisadores mostraram que descartar dados com base em um único instantâneo de desempenho frequentemente leva à perda de informações importantes, ao passo que rastrear a evolução completa da compreensão do modelo preserva as lições necessárias. Embora o método exija um período inicial de treinamento para mapear esses caminhos de aprendizado, os conjuntos de dados menores resultantes permitem um treinamento mais rápido e eficiente no futuro. Este trabalho oferece um roteiro prático para tornar o aprendizado profundo mais sustentável, provando que, às vezes, saber menos só é possível se você entender exatamente como o aprendizado aconteceu.

Resumo Técnico: FRAP – Poda de Trajetória Geométrica de Fisher–Rao para Seleção de Conjuntos de Dados Consciente de Classe

1. Declaração do Problema

A escala crescente dos conjuntos de dados de aprendizagem profunda introduziu custos computacionais e de memória substanciais, motivando a necessidade de uma poda de dados eficaz. Embora dados adicionais possam melhorar a generalização, a redundância sugere que uma parte significativa das amostras de treinamento oferece benefício limitado. Os métodos de poda existentes frequentemente dependem de propriedades estáticas (ex: perda, gradientes) ou medidas de incerteza escalares coletadas em pontos temporais únicos. Essas abordagens falham em capturar a evolução geométrica completa da distribuição preditiva de uma amostra ao longo do tempo. Além disso, muitos métodos empregam estratégias de classificação global que não controlam explicitamente a distribuição do orçamento de retenção entre as classes, o que pode levar a desequilíbrios de classe indesejáveis no subconjunto podado.

2. Metodologia

Os autores propõem o FRAP (Fisher–Rao Geometric Trajectory Pruning), um framework consciente de classe que caracteriza as amostras de treinamento através das trajetórias de suas distribuições preditivas ao longo das épocas de treinamento registradas. O método opera em dois níveis acoplados: pontuação baseada em trajetória e seleção hierárquica consciente de classe.

2.1 Extração de Trajetória Preditiva

Um modelo de referência é treinado no conjunto de dados completo por $T$ épocas. Ao final de cada época, o modelo avalia o conjunto de treinamento para registrar o vetor de probabilidade preditiva $p^{(t)}_n$ para cada amostra $n$ . Esta sequência forma a trajetória preditiva $\mathcal{T}_n$ .

2.2 Pontuação Geométrica Fisher–Rao (EIGD)

Para quantificar o movimento da distribuição preditiva de uma amostra, o FRAP utiliza a distância geodésica de Fisher–Rao no simplex de probabilidade.

Suavização: Vetores preditivos são suavizados para garantir componentes estritamente positivos para cálculos geométricos.
Comprimento do Caminho ( $L_n$ ): A distância cumulativa de Fisher–Rao entre estados preditivos consecutivos ao longo das épocas, representando o movimento preditivo total.
Deslocamento Líquido ( $G_n$ ): A distância de Fisher–Rao entre os estados preditivos inicial ( $t=1$ ) e final ( $t=T$ ).
Eficiência da Trajetória ( $E_n$ ): Definida como a razão entre o deslocamento líquido e o comprimento do caminho cumulativo ( $G_n / (L_n + \epsilon_d)$ ), medindo o quão diretamente uma amostra se move em direção ao seu estado final.
Pontuação EIGD ( $Q_n$ ): O Deslocamento de Informação-Geométrica Eficaz combina magnitude e eficiência:
$Q_n = G_n E_n = \frac{G_n^2}{L_n + \epsilon_d}$
Esta pontuação favorece amostras que passam por mudanças preditivas substanciais sem oscilações intermediárias excessivas.

2.3 Dificuldade Robusta Consciente de Rótulo

Para complementar a pontuação de trajetória, um sinal de dificuldade consciente de rótulo é computado com base na confiança média na classe de referência ( $q^{(t)}_n$ ). A dificuldade $H_n$ é definida como $1 - \text{média}(q^{(t)}_n)$ . Para evitar que valores extremos dominem, uma poda de cauda superior é aplicada no $\kappa$ -ésimo percentil para produzir $H^{rob}_n$ .

2.4 Seleção Hierárquica Consciente de Classe

O FRAP evita a classificação global em favor de um processo de dois estágios:

Alocação de Orçamento ao Nível de Classe: Estatísticas de nível de classe (média de EIGD e média de dificuldade podada) são agregadas e normalizadas. Uma pontuação de prioridade de nível de classe $D_c$ é computada como uma soma ponderada dessas estatísticas normalizadas. Esta prioridade, combinada com o tamanho da classe, determina a cota de retenção $K_c$ para cada classe, garantindo que o orçamento global de poda seja distribuado de acordo com os comportamentos preditivos específicos de cada classe.
Seleção de Amostras Dentro da Classe: Dentro de cada classe, as amostras são classificadas com base em uma pontuação combinada $S_n = (1-\alpha)\tilde{Q}_n + \alpha\tilde{H}^{rob}_n$ , onde $\tilde{Q}$ e $\tilde{H}$ são normalizados dentro da classe. As top $K_c$ amostras são retidas.

3. Principais Contribuições

Representação de Trajetória de Fisher–Rao: Um framework inovador que representa amostras via evolução de suas distribuições preditivas completas, utilizando a geometria de Fisher–Rao para medir o movimento preditivo.
Pontuação EIGD: A introdução do Deslocamento de Informação-Geométrica Eficaz, que integra o deslocamento preditivo líquido com a eficiência da trajetória cumulativa.
Mecanismo Hierárquico Consciente de Classe: Um procedimento de seleção que separa explicitamente a alocação de orçamento de nível de classe da classificação de amostras dentro da classe, abordando problemas de desequilíbrio de classe inerentes aos métodos de classificação global.
Avaliação Abrangente: Validação empírica em múltiplos conjuntos de dados (CIFAR-10, CIFAR-100, ImageNet-1K, Waterbirds) e razões de poda, demonstrando desempenho superior sobre baselines representativos.

4. Resultados Experimentais

Os autores avaliaram o FRAP contra métodos incluindo Random, Forgetting, EL2N, CCS, MetriQ, Dyn-Unc, TDDS e InfoBatch.

Desempenho: O FRAP alcançou consistentemente a maior acurácia Top-1 em todos os conjuntos de dados e taxas de poda testadas.
- CIFAR-10: Alcançou 95,58% com 30% de poda e 87,86% com 90% de poda.
- CIFAR-100: Alcançou 77,78% com 30% de poda e 56,72% com 90% de poda.
- ImageNet-1K: Alcançou 79,83% com 25% de poda e 78,58% com 50% de poda.
- Waterbirds: Alcançou 96,42% com 30% de poda e 93,18% com 90% de poda.
Estudos de Ablação:
- A remoção da alocação de nível de classe ou do sinal de dificuldade resultou em menor acurácia, confirmando a necessidade de ambos os componentes.
- Substituir a pontuação EIGD completa pelo simples deslocamento de extremidade ( $G_n$ ) resultou em menor desempenho, validando a importância da eficiência da trajetória.
Sensibilidade: O coeficiente de mistura $\alpha$ (equilibrando trajetória e dificuldade) mostrou desempenho ideal em $\alpha=0,5$ no CIFAR-100.

5. Significância e Alegações

O artigo afirma que o FRAP aborda limitações críticas nos métodos de poda existentes ao capturar a evolução geométrica das distribuições preditivas e gerenciar explicitamente os orçamentos de retenção de nível de classe. Os autores afirmam que sua abordagem equilibra efetivamente a informação obtida das trajetórias preditivas com o custo computacional de coletá-las.

Os resultados sugerem que representar amostras através de suas trajetórias preditivas completas no simplex de probabilidade, em vez de depender de métricas estáticas ou escalares, fornece um sinal mais robusto para identificar dados informativos. O mecanismo de seleção hierárquica é apresentado como um passo necessário para garantir que a poda agressiva não prejudique desproporcionalmente classes específicas. Os autores concluem que o FRAP estabelece um novo estado da arte para a poda de conjuntos de dados sob as condições testadas, embora reconheçam que trabalhos futuros são necessários para reduzir a sobrecarga computacional associada à extração de trajetórias de treinamento completas.