Resumo Técnico: LADDER – Descoberta de Fatias Baseada em Linguagem e Retificação de Erros em Classificadores de Visão

1. Declaração do Problema

Classificadores de visão frequentemente exibem falhas sistemáticas em subconjuntos específicos de dados, conhecidos como fatias de erro (error slices), devido a correlações espúrias (vieses) aprendidas durante o treinamento. Identificar essas fatias é crítico para melhorar a robustez do modelo, particularmente em domínios especializados como a radiologia, onde os vieses podem ser sutis e específicos do domínio.

Os métodos atuais de descoberta de fatias enfrentam três limitações primárias:

1. Bancos de Atributos Restritos: Eles dependem de conjuntos predefinidos de atributos ou etiquetas visuais, limitando sua capacidade de descobrir novos ou complexos vieses.
2. Falta de Raciocínio e Conhecimento de Domínio: Frequentemente carecem do senso comum ou do conhecimento especializado de domínio (ex: patologia radiológica) necessário para interpretar padrões de erro complexos.
3. Incapacidade de Capturar Vieses de Pré-processamento: Eles tipicamente negligenciam vieses introduzidos durante a preparação ou pré-processamento dos dados (ex: metadados, cabeçalhos DICOM) que não estão presentes nos pixels brutos da imagem.

Além disso, as estratégias de mitigação existentes muitas vezes exigem anotações de verdade fundamental (ground-truth) caras para atributos de viés ou assumem conhecimento prévio do número e dos tipos de vieses, o que raramente está disponível em cenários do mundo real.

2. Metodologia: LADDER

LADDER (Language-Driven Slice Discovery and Error Rectification) é um framework que aproveita as capacidades de raciocínio e o conhecimento latente de domínio de Grandes Modelos de Linguagem (LLMs) para descobrir e mitigar automaticamente fatias de erro sem exigir anotações explícitas de atributos. O método opera em três estágios principais:

A. Recuperação de Sentenças Indicativas de Vieses

O LADDER começa analisando as ativações internas de um classificador pré-treinado $f$.

1. Projeção: Ele aprende uma função de projeção $\pi$ para alinhar o espaço de representação de imagem do classificador ($\Phi$) com um espaço de Representação de Visão-Linguagem (VLR) ($\Psi_I$), utilizando modelos como CLIP ou variantes específicas de domínio (ex: CXR-CLIP).
2. Estimativa de Diferença: Para uma classe específica, ele calcula a diferença ($\Delta_I$) entre as médias das representações projetadas de amostras classificadas corretamente e amostras classificadas incorretamente.
3. Recuperação: Este vetor de diferença é usado para recuperar as top-$K$ sentenças de um corpus de texto (ex: legendas de imagens, relatórios radiológicos ou logs de metadados) que são semanticamente mais similares ao padrão de erro. Essas sentenças descrevem atributos visuais presentes nas predições corretas, mas ausentes nos erros.

B. Descoberta de Fatias de Erro via LLM

Em vez de depender de agrupamento (clustering) não supervisionado, o LADD_ER invoca um LLM para analisar as sentenças recuperadas.

1. Geração de Hipóteses: O LLM gera um conjunto de hipóteses testáveis ($H$) sobre potenciais vieses (ex: "O classificador depende da presença de tubos torácicos").
2. Construção de Prompts: Para cada hipótese, o LLM gera prompts de texto específicos ($T$) que descrevem o atributo em diversos contextos.
3. Identificação de Fatias: O sistema computa o escore de similaridade ($s_H$) entre a representação projetada de uma imagem e o embedding médio dos prompts de texto específicos da hipótese. Imagens com baixos escores de similaridade (indicando a ausência do atributo hipotetizado) são marcadas como uma potencial fatia de erro. Se a taxa de erro neste subconjunto for significativamente maior do que o erro da classe global, ela é confirmada como uma fatia de erro.

C. Mitigação sem Anotação

O LADDER mitiga os vieses sem rotulagem manual:

1. Rotulagem Pseudo (Pseudo-Labeling): Ele converte os escores de similaridade em probabilidades para atribuir pseudo-rótulos (presença/ausência do viés) aos dados de treinamento.
2. Fine-tuning de Ensemble: Seguindo a abordagem de Re-ponderação de Características Profundas (Deep Feature Re-weighting - DFR), ele cria conjuntos de dados equilibrados para cada hipótese e realiza o fine-tuning da cabeça linear do classificador.
3. Inferência: Durante a inferência, o sistema seleciona a cabeça do classificador debiased (desenviesada) associada à hipótese que produz o máximo escore de similaridade para a imagem de entrada, efetivamente realizando o ensemble de múltiplos modelos debiased.

3. Principais Contribuições

O artigo delineia cinco contribuições primárias:

1. Descoberta Baseada em Linguagem: Utilização de linguagem natural (legendas, relatórios) para recuperar sentenças indicativas de erros, capturando insights além da simples presença/ausência de atributos.
2. Raciocínio de LLM e Conhecimento de Domínio: Aproveitamento de LLMs para gerar hipóteses e aplicar conhecimento de domínio latente (ex: identificar subtipos específicos de doenças ou padrões patológicos) para detectar vieses sutis que modelos de etiquetagem (tagging) perdem.
3. Agnosticismo de Modelo: A capacidade de detectar fatias de qualquer modelo supervisionado pronto para uso (off-the-shelf), independentemente da arquitetura ou estratégia de pré-treinamento, superando os requisitos de treinamento específicos de métodos como Facts ou DrML.
4. Além das Legendas: Extensão da detecção de viés para metadados (ex: Registros Eletrônicos de Saúde, cabeçalhos DICOM) convertendo dados estruturados em texto para análise de LLM.
5. Mitigação Sem Anotação: Mitigação de múltiplos vieses simultaneamente através da geração de pseudo-rótulos e fine-tuning, sem exigir conhecimento prévio do número ou tipo de vieses.

4. Resultados Experimentais

Os autores avaliaram o LADDER em 6 conjuntos de dados (3 de imagens naturais: Waterbirds, CelebA, MetaShift; 3 de imagens médicas: NIH Chest-X-ray, RSNA-Mammo, VinDr-Mammo) usando mais de 200 classificadores e 4 LLMs diferentes.

• Descoberta de Fatias: O LADDER superou significativamente os baselines (Domino, Facts) em Precision@10, mostrando uma melhoria substancial de 50% em conjuntos de dados de imagens médicas. Ele identificou com sucesso vieses de verdade fundamental (ground-truth) como "tubos torácicos" na detecção de pneumotórax e "corpos d'água" na classificação de aves.
• Mitigação de Viés: Em termos de Acurácia do Pior Grupo (Worst Group Accuracy - WGA), o LADDER superou consistentemente os baselines de mitigação de estado da arte (GroupDRO, JTT, DFR, etc.).
  • No Waterbirds, alcançou uma WGA de 91,4% (melhoria de 3,6% sobre o DFR).
  • No RSNA-Mammo, alcançou 76,4% (melhoria de 7,3%).
  • No VinDr-Mammo, alcançou 82,5% (melhoria de 21,1% sobre o DFR).
  • No NIH, superou o JTT e o DFR em 8,2% e 7,4%, respectivamente.
• Robustez: O método demonstrou desempenho consistente através de diferentes arquiteturas (ResNet, ViT) e estratégias de pré-treinamento (Supervisionado, Autossupervisionado, CLIP).
• Melhoria Zero-Shot: Os atributos extraídos pelo LADDER foram usados para construir prompts que melhoraram a acurácia zero-shot de modelos baseados em CLIP, com ganhos de até +19,05% no conjunto de dados NIH.

5. Significância e Alegações

O artigo afirma que o LADDER aborda uma lacuna crítica no campo: a necessidade de um método automatizado para descobrir e mitigar múltiplos vieses sem conhecimento prévio ou anotações caras.

• Generalizabilidade: Ao contrário de métodos anteriores restritos a configurações de treinamento específicas ou modelos multimodais, o LADDER funciona em classificadores padrão treinados via ERM.
• Adaptabilidade de Domínio: Ao utilizar LLMs, o framework pode raciocinar sobre vieses complexos e específicos de domínio (ex: achados radiológicos) que são difíceis de capturar com conjuntos de atributos fixos.
• Praticidade: A abordagem é econômica (o custo total de LLM para os experimentos foi de ~$28) e elimina o gargalo da anotação manual de atributos.

Os autores concluem que o LADDER oferece uma abordagem escalável e generalizável para descobrir e enfrentar vieses sistemáticos, potencialmente aumentando a confiabilidade e a equidade de modelos de IA tanto em visão computacional geral quanto em aplicações médicas críticas. Eles reconhecem limitações, como a dependência atual de legendas para a descoberta (embora proponham modelos ajustados por instrução como uma solução alternativa) e o potencial de vieses inerentes nos LLMs fundamentais utilizados.