Resumo Técnico: Aprendizado Contrastivo com Restrição de Nível para Classificação Visual Hierárquica de Grão Fino

1. Definição do Problema

Modelos de aprendizado contrastivo multimodal, como o CLIP, demonstraram fortes capacidades de classificação visual zero-shot ao alinhar embeddings de imagem e texto. No entanto, esses modelos operam tipicamente sob uma suposição de rótulo plano (flat-label assumption), tratando todos os rótulos de texto não correspondentes como exemplos negativos iguais. Essa suposição falha quando aplicada a espaços de rótulos estruturados hierarquicamente (ex: taxonomias biológicas).

Em configurações hierárquicas, o aprendizado contrastivo padrão gera sinais de supervisão conflitantes. Por exemplo, embora um leão (Panthera leo) e um lobo (Canis lupus) sejam distintos nos níveis de espécie e gênero, eles compartilham ancestrais de nível superior (ex: a ordem Carnivora). Em uma configuração contrastiva de rótulo plano padrão, o rótulo de texto para "lobo" pode ser tratado como um alvo negativo para uma imagem de um "leão", embora sejam semanticamente compatíveis no nível de ordem. Isso cria falsos negativos através dos níveis taxonômicos, levando à inconsistência hierárquica, onde o rótulo de grão fino previsto pelo modelo não pertence à sua categoria de nível superior prevista.

2. Metodologia

Os autores propõem um framework de Aprendizado Contrastivo com Restrição de Nível projetado para eliminar falsos negativos entre níveis e garantir uma otimização equilibrada através da taxonomia.

2.1. Formulação do Problema

A taxonomia é definida como um conjunto $\mathcal{T} = (C_1, \dots, C_L)$ com $L$ níveis hierárquicos (do mais grosseiro ao mais fino). Cada imagem $x_i$ está associada a um vetor de rótulo taxonômico $t_i = (t_i^1, \dots, t_i^L)$.

• Construção de Texto: Para cada nível $\ell$, um rótulo de texto $y_i^\ell$ é construído contendo o prefixo taxonômico até aquele nível: $y_i^\ell = (t_i^1, \dots, t_i^\ell)$.
• Codificação: Imagens e rótulos de texto são codificados usando encoders de imagem ($f$) e texto ($g$) baseados em CLIP para produzir embeddings $v_i$ e $z_i^\ell$, respectivamente.

2.2. Perda Contrastiva com Restrição de Nível

Em vez de realizar uma perda contrastiva conjunta sobre todos os níveis, o objetivo é decomposto em comparações independentes dentro de cada nível taxonômico.

• Comparação Intra-Nível: A perda contrastiva é calculada separadamente para cada nível $\ell$. Um rótulo de nível de espécie é comparado apenas contra outros rótulos de nível de espécie, evitando a ambiguidade de comparar espécies contra ordens ou reinos.
• Supervisão Balanceada por Grupo: Para lidar com mini-batches onde múltiplas imagens podem compartilhar o mesmo rótulo de nível superior (ex: duas espécies diferentes do mesmo Reino), o método agrega os rótulos. Todos os pares imagem-texto que compartilham o mesmo rótulo em um nível específico são tratados como pares positivos.
  • Perda Imagem-para-Texto ($L_{I \to T}$): Computa a similaridade entre um embedding de imagem e o conjunto de embeddings de texto únicos naquele nível.
  • Perda Texto-para-Imagem ($L_{T \to I}$): Computa a similaridade entre um âncora de texto e o conjunto de embeddings de imagem que compartilham esse rótulo.
• Objetivo Final: A perda total é a média das perdas em todos os $L$ níveis:
  $$\mathcal{L} = \frac{1}{L} \sum_{\ell=1}^{L} \mathcal{L}_\ell$$
  Este peso igual garante que os níveis de grão fino recebam supervisão suficiente e não sejam dominados por sinais de nível superior de alta confiança.

2.3. Detalhes de Implementação

• Modelo Base: O framework faz o fine-tuning do BioCLIP (um modelo de fundação pré-treinado na Árvore da Vida).
• Dados de Treinamento: O modelo é treinado no TreeOfLife-10M.
• Espaços de Embedding: O método é instanciado tanto em espaços Euclidianos quanto Hiperbólicos, sendo que este último oferece vantagens potenciais para representar estruturas hierárquicas.

3. Principais Contribuições

1. Identificação de Falsos Negativos: O artigo identifica que tratar rótulos ancestral-descendente como negativos no aprendizado contrastivo padrão cria sinais conflitantes que violam a suposição de rótulo plano.
2. Framework com Restrição de Nível: Uma nova receita de treinamento que restringe as comparações contrastivas a rótulos dentro do mesmo nível taxonômico, garantindo pares positivos e negativos bem definidos.
3. Design Balanceado por Grupo: Um mecanismo para lidar com colisões de rótulos em mini-batches, tratando todos os exemplos com o mesmo rótulo em um nível específico como positivos, evitando o viés para categorias grosseiras frequentes.
4. Validação Empírica: Avaliação extensiva em múltiplos benchmarks hierárquicos demonstrando melhoria na consistência e precisão.

4. Resultados Experimentais

O modelo foi avaliado em três benchmarks: iNaturalist 2021 (iNat21), Rare Species e CrypticBio.

4.1. Melhorias de Acurácia

• iNat21: O método proposto melhorou a acurácia média em todos os níveis taxonômicos em 30,47% em relação ao baseline BioCLIP.
• Comparação: O método superou o OpenCLIP, BioCLIP e RCME (um método anterior orientado à hierarquia) em todos os datasets.
• Granularidade: Ganhos significativos foram observados em níveis intermediários (Ordem a Gênero), onde a perda contrastiva padrão costuma sofrer mais com a ambiguidade entre níveis. O desempenho no nível de espécie também melhorou, apesar de a otimização não estar focada exclusivamente nesse nível.

4.2. Consistência Hierárquica

• Inferência com Restrição Top-Down: Sob um protocolo estrito onde as predições procedem do nível mais grosseiro para o mais fino (restringindo candidatos a descendentes válidos), o método manteve desempenho superior.
• LCA Normalizado (nLCA): A variante hiperbólica alcançou um escore nLCA de 0,71 em comparação com 0,43 do RCME, indicando que, mesmo quando o rótulo exato da espécie está incorreto, a predição permanece mais próxima do ramo taxonômico correto.
• Comparação de Espaços: A variante Euclidiana teve melhor desempenho no iNat21, enquanto a variante Hiperbólica mostrou maior desempenho no Rare Species e CrypticBio, particularmente em níveis taxonômicos mais profundos.

4.3. Visualização

Visualizações t-SNE dos embeddings de texto revelaram que o método proposto produz uma estrutura hierárquica mais clara com menor mistura entre níveis em comparação ao BioCLIP. Categorias irmãs são mais distintamente separadas, e os embeddings de níveis taxonômicos próximos formam grupos coerentes.

5. Significância e Alegações

O artigo afirma que o framework de Aprendizado Contrastivo com Restrição de Nível resolve efetivamente o problema da inconsistência hierárquica em modelos multimodais. Ao restringir as comparações a conjuntos de rótulos mutuamente exclusivos dentro do mesmo nível taxonômico e balancear a supervisão entre os níveis, o método:

• Elimina sinais de supervisão conflitantes causados por falsos negativos em espaços hierárquicos.
• Melhora simultaneamente tanto a acurácia de classificação plana quanto a consistência hierárquica.
• Promove a emergência de relações hierárquicas estruturadas no espaço de embedding sem exigir objetivos de geometria complexos ou arquiteturas especializadas além da reformulação contrastiva.

Os autores enfatizam que esta abordagem é particularmente eficaz para classificação zero-shot em domínios com taxonomias complexas, como a biodiversidade, onde manter a consistência lógica entre os níveis é crítico para a aplicabilidade no mundo real.