Free-Grained Hierarchical Visual Recognition

1. O Problema: A Irregularidade da Anotação no Mundo Real

O reconhecimento hierárquico de imagens visa prever rótulos ao longo de uma taxonomia semântica (ex: Animal → Ave → Águia-real), capturando categorias do geral ao específico.

• Suposição Tradicional: A maioria dos métodos existentes assume supervisão completa, onde cada imagem de treinamento é anotada em todos os níveis da hierarquia.
• A Realidade ("Bagunçada"): Na prática, as anotações são inconsistentes devido a:
  1. Ambiguidade Visual: Uma imagem distante de um pássaro pode justificar apenas o rótulo "Ave", enquanto um close-up justifica "Águia-real".
  2. Restrições Externas: Custo, expertise do anotador ou protocolos em evolução podem limitar a granularidade do rótulo.
• O Desafio: Como treinar modelos que aprendam previsões hierárquicas consistentes a partir de supervisão mista e incompleta, onde diferentes imagens podem ter rótulos em diferentes níveis de profundidade da taxonomia?

O artigo define este novo paradigma como Reconhecimento Hierárquico de Granularidade Livre (Free-Grained Hierarchical Recognition).

---

2. Metodologia Proposta

Os autores propõem uma abordagem completa que abrange a criação de benchmarks, novos métodos de treinamento e estratégias de inferência.

A. Benchmarks e Dados (ImageNet-3L e Variantes)

Para estudar esse problema, os autores reorganizaram o ImageNet e adaptaram outros conjuntos de dados:

• ImageNet-3L: O WordNet original do ImageNet é irregular (profundidades variadas, nós abstratos). Os autores criaram uma taxonomia limpa de 3 níveis (Básico, Subordinado, Fino) baseada em princípios de psicologia cognitiva (nível básico de Rosch).
• Variantes de Granularidade Livre:
  • Baseadas em Fundamentos (Foundation-based): Usam modelos de visão-linguagem (CLIP, BioCLIP) para "podar" rótulos. Se o modelo não consegue prever com confiança um nível fino, o rótulo é removido, simulando a ambiguidade visual real (ex: um pássaro distante vira apenas "Ave").
  • Randomizadas: Remoção aleatória de rótulos para testar robustez sob diferentes níveis de esparsidade.

B. Métodos de Treinamento (Free-Grain Learning)

Para lidar com a falta de rótulos em níveis específicos, são propostos dois métodos principais:

1. Text-Attr (Atributos Guiados por Texto):

   • Ideia: Utiliza descrições de texto geradas por um Modelo de Linguagem Visual (VLM) como supervisão auxiliar.
   • Mecanismo: O VLM gera uma descrição da imagem (ex: "pernas curtas", "orelhas pontudas"). O modelo de visão é treinado para alinhar suas representações visuais com essas descrições textuais via uma perda de contraste.
   • Objetivo: Aprender "pseudo-atributos" visuais que são consistentes através dos níveis hierárquicos, ajudando o modelo a distinguir classes mesmo quando o rótulo fino está ausente.

2. Taxon-SSL (Aprendizado Semi-Supervisionado Guiado por Taxonomia):

   • Ideia: Trata os rótulos ausentes em certos níveis como dados não rotulados.
   • Mecanismo:
     • Gera pseudo-rótulos para os níveis ausentes usando previsões de dados aumentados.
     • Impõe consistência hierárquica: Um par de amostras é considerado positivo apenas se concordar em todos os níveis da hierarquia (não apenas em um nível).
     • Utiliza uma perda de contraste alinhada à taxonomia para agrupar amostras semanticamente consistentes e separar as inconsistentes.

C. Inferência de Granularidade Livre

O modelo não é forçado a prever o nível mais fino possível. Em vez disso, ele decide quão profundo deve prever:

• Estratégia de Parada: O modelo para de descer na hierarquia quando a confiança cai ou quando a consistência hierárquica é violada.
• Conclusão: A estratégia baseada em consistência (parar se a previsão fina conflitar com a ancestral) é superior à baseada apenas em confiança, resultando em previsões mais confiáveis e profundas.

---

3. Principais Contribuições

1. Definição do Problema: Introdução formal do Free-Grained Hierarchical Recognition, onde a granularidade dos rótulos de treinamento varia livremente entre instâncias.
2. Novos Benchmarks: Criação de conjuntos de dados escaláveis e realistas (ImageNet-F, iNat21-mini-F, CUB-F) que simulam a dificuldade de anotação do mundo real, superando as limitações de conjuntos anteriores (como CUB e Aircraft) que são pequenos ou de domínio único.
3. Métodos SOTA: Proposta de duas técnicas (Text-Attr e Taxon-SSL) que superam significativamente os classificadores hierárquicos existentes (como HRN e H-CAST) neste cenário desafiador.
4. Inferência Adaptativa: Demonstração de que a inferência baseada em consistência hierárquica é mais robusta do que a baseada apenas em confiança, permitindo que o modelo retorne um rótulo grosso correto em vez de um fino incorreto.

---

4. Resultados Experimentais

• Queda de Desempenho em Métodos Existentes: Quando treinados com supervisão de granularidade livre, os métodos SOTA (H-CAST) sofreram quedas drásticas de desempenho (até 40% de redução na precisão do caminho completo - Full-Path Accuracy), evidenciando a dificuldade do problema.
• Eficácia dos Novos Métodos:
  • Text-Attr: Desempenhou excepcionalmente bem no ImageNet-F (grande escala, diversidade visual), onde as dicas textuais ajudam a capturar atributos visuais compartilhados. Melhorou a precisão em 5-25% sobre os baselines.
  • Taxon-SSL: Foi mais eficaz no iNat21-mini-F (domínio biológico, muitas classes com aparência similar), onde a propagação de rótulos e a consistência estrutural ajudam a superar a falta de dados por classe.
  • Combinação: A combinação de ambos os métodos forneceu ganhos consistentes, embora modestos, em todos os conjuntos de dados.
• Análise de Esparsidade: Em cenários de extrema escassez de rótulos (ex: apenas 10% de rótulos finos), o Taxon-SSL mostrou-se mais robusto, enquanto o Text-Attr beneficiou-se mais quando havia mais dados disponíveis para alinhamento visual-textual.

---

5. Significado e Impacto

Este trabalho é fundamental por várias razões:

• Realismo: Move o campo de reconhecimento hierárquico de um ambiente de laboratório "limpo" (anotações perfeitas) para um cenário realista e "sujo" (anotações incompletas e variadas).
• Robustez: Demonstra que é possível construir sistemas robustos que não falham quando a anotação é imperfeita, algo crucial para aplicações em larga escala (como monitoramento de vida selvagem ou classificação de produtos).
• Flexibilidade: A abordagem de inferência adaptativa permite que o sistema forneça respostas úteis (rótulos grossos corretos) mesmo quando não tem certeza suficiente para um rótulo fino, alinhando-se melhor às necessidades de usuários reais (especialistas vs. leigos).
• Base para Futuro: Estabelece um novo padrão de benchmark (ImageNet-3L) e uma linha de base forte para pesquisas futuras em aprendizado semi-supervisionado e hierárquico.

Em resumo, o artigo redefine como a visão computacional deve lidar com a hierarquia de classes na prática, propondo soluções que aprendem a navegar na incerteza e na variabilidade da anotação humana e automática.