Beyond Accuracy: What Matters in Designing Well-Behaved Image Classification Models?

Este estudo realiza uma análise em larga escala de 326 modelos de classificação de imagens para avaliar nove dimensões de qualidade além da precisão, revelando que modelos visão-linguagem e aqueles iniciados com aprendizado auto-supervisionado tendem a apresentar melhor desempenho geral, e introduzindo a pontuação QUBA como uma nova métrica para classificar e recomendar modelos com base em múltiplos critérios de qualidade.

O essencial

Imagine que você está construindo um time de jogadores de futebol para ganhar a Copa do Mundo.

Até hoje, a única coisa que a maioria dos treinadores (cientistas de IA) olhava era: "Quem chuta a bola mais forte?" (ou seja, quem tem a maior precisão). Se o jogador chutava forte e fazia gol, ele era o melhor.

Mas esse artigo diz: "Espera aí! Chutar forte não é tudo."

Um jogador pode chutar muito forte, mas:

1. Se o vento mudar um pouco (ruído na imagem), ele erra o gol.
2. Se o juiz fizer uma falta estranha (ataque adversarial), ele desiste.
3. Ele pode ser muito bom com a bola no pé, mas péssimo com a bola na cabeça (falta de generalização).
4. Ele pode ser preconceituoso e só jogar bem contra times de um certo país (falta de justiça/equilíbrio).

Os autores deste estudo, Robin Hesse e colegas, decidiram parar de olhar apenas para o "chute forte" e começar a avaliar o comportamento geral do jogador. Eles chamam isso de "modelos bem-comportados" (well-behaved).

O Grande Experimento: O Zoológico de Modelos

Eles pegaram 326 modelos diferentes de inteligência artificial (os "jogadores") e os colocaram em uma arena de testes gigante. Em vez de apenas ver quem ganha o jogo, eles mediram 9 coisas diferentes:

1. Precisão: O básico. Quantos gols ele faz?
2. Robustez a Ataques: Se alguém tentar "empurrar" a imagem de um gato para parecer um cachorro (ataque adversarial), ele ainda acerta?
3. Robustez a "Sujeira": Se a foto estiver borrada, com chuva ou em preto e branco, ele ainda entende?
4. Robustez a Novos Lugares: Se ele treinou em campos de grama verde, ele consegue jogar em um campo de areia? (Isso é chamado de Out-of-Domain).
5. Calibração: Se ele diz "tenho 90% de certeza que é um gato", ele realmente tem 90% de certeza? Ou está apenas blefando?
6. Justiça (Equilíbrio de Classes): Ele é bom com todos os tipos de jogadores ou só com os "favoritos"? (Ex: não discriminar raças ou objetos raros).
7. Foco no Objeto: Ele olha para o cachorro ou para o sofá onde o cachorro está sentado? (Muitos IAs olham para o fundo, não para o objeto).
8. Viés de Forma: Ele reconhece um gato pela sua forma ou apenas pela textura do pelo? (IAs tendem a ser viciados em textura).
9. Custo: Quantos "músculos" (parâmetros) ele tem? Modelos gigantes são caros e lentos.

O Que Eles Descobriram? (As Surpresas)

Aqui estão as descobertas principais, traduzidas para a vida real:

1. Treinar com mais dados é como ter mais experiência de vida.
Modelos treinados em bases de dados gigantes (como o ImageNet-21k, que tem milhões de fotos) são muito melhores em quase tudo. Eles são mais robustos, mais justos e mais precisos. É como se um jogador que jogou em 100 campeonatos diferentes fosse mais inteligente que um que jogou só no bairro.

2. O "Treinamento Auto-supervisionado" é o segredo.
Imagine um jogador que estuda sozinho, olhando para milhares de fotos sem ninguém dizendo "isso é um gato". Ele aprende os padrões do mundo sozinho e, depois, recebe um treino rápido específico.

• Resultado: Essa técnica (chamada Self-Supervised Learning) criou os melhores jogadores de todos. Eles são mais equilibrados, mais justos e mais robustos do que os treinados apenas com supervisão tradicional.

3. Modelos de "Visão e Linguagem" (ViL) são superpoderosos em alguns aspectos.
Modelos como o CLIP (que aprende vendo fotos e lendo textos ao mesmo tempo) são estranhos.

• Eles são gênios em lidar com situações novas (robustez fora do domínio). Se você mostrar uma foto desenhada à mão, eles entendem.
• Mas eles são péssimos em precisão pura se não forem ajustados para isso. É como um poliglota que entende tudo, mas não sabe chutar a bola com força máxima.

4. CNNs vs. Transformers: O fim da era das convoluções?
Os modelos antigos (CNNs) e os novos (Transformers, usados no ChatGPT e em visão) foram comparados.

• Resultado: Os Transformers ganharam em quase tudo, exceto na precisão bruta (que foi parecida). Eles são mais versáteis.

5. O "Score QUBA": A Nova Classificação
Como saber qual é o melhor jogador se cada um é bom em algo diferente?
Os autores criaram uma nova pontuação chamada QUBA (Quality Understanding Beyond Accuracy).

• Em vez de apenas somar os gols, o QUBA dá uma nota baseada em desvios padrão. Ele pergunta: "Este modelo está muito acima da média em robustez? Está muito abaixo em custo?".
• Com isso, eles puderam recomendar: "Se você quer um modelo barato e rápido, use este. Se quer um modelo super justo e robusto, use aquele outro."

A Conclusão para o Dia a Dia

O mundo da Inteligência Artificial estava obcecado apenas em fazer modelos que acertam a resposta certa (precisão). Este artigo diz que isso é perigoso. Um modelo pode acertar a resposta, mas ser frágil, injusto ou enganoso.

A lição principal: Não queremos apenas máquinas inteligentes; queremos máquinas confiáveis, justas e robustas.

Eles nos dão um "mapa do tesouro" (o site do projeto e a tabela de modelos) para que, no futuro, quando alguém precisar de uma IA, não pergunte apenas "qual é a mais precisa?", mas sim "qual é a mais bem-comportada para o meu problema específico?".

Resumo em uma frase:
Pare de olhar apenas para quem chuta a bola mais forte; olhe para quem joga o jogo inteiro de forma justa, inteligente e resistente a qualquer clima!

Resumo técnico

1. Problema e Motivação

O campo da visão computacional é dominado por Redes Neurais Profundas (DNNs) que alcançam desempenho excepcional em acurácia (taxa de classificação correta). No entanto, a acurácia é uma métrica insuficiente para garantir a qualidade geral de um modelo em cenários do mundo real. Modelos frequentemente falham em outras dimensões críticas, como:

• Robustez: Vulnerabilidade a ataques adversariais, corrupções de imagem (ex: ruído, compressão JPEG) e mudanças de domínio (Out-of-Distribution - OOD).
• Calibração: A confiança do modelo não corresponde à probabilidade real de estar correto.
• Justiça (Fairness): Desempenho desigual entre diferentes classes.
• Viés de Aprendizado: Tendência a aprender características de fundo (background) ou textura em vez de forma (shape) e objeto.
• Custo Computacional: Número de parâmetros e eficiência.

O problema central identificado pelos autores é que a comunidade científica desenvolveu pesquisas sobre essas dimensões de forma ortogonal (isolada). Poucos estudos analisam simultaneamente como melhorias em uma dimensão afetam as outras, e não existe uma métrica unificada para classificar modelos baseados em um espectro amplo de "comportamento adequado" (well-behavedness).

2. Metodologia

Os autores realizaram um estudo em larga escala para preencher essa lacuna, analisando 326 modelos de backbone (arquiteturas base) para classificação em ImageNet-1k.

Dimensões de Qualidade Avaliadas

O estudo define e mede nove dimensões de qualidade simultaneamente:

1. Acurácia: Taxa de acerto em imagens limpas.
2. Robustez Adversarial: Desempenho após ataques FGSM e PGD.
3. Robustez a Corrupções (C-Robustness): Desempenho em ImageNet-C (ruído, borrão, etc.).
4. Robustez OOD: Generalização para domínios não vistos (ImageNet-R, Sketch, etc.).
5. Erro de Calibração: Desalinhamento entre confiança e precisão (ECE e ACE).
6. Equilíbrio de Classes (Class Balance): Variância na acurácia e confiança entre classes (proxy para justiça).
7. Foco no Objeto (Object Focus): Capacidade de focar no objeto principal e não no fundo.
8. Viés de Forma (Shape Bias): Preferência por forma em vez de textura.
9. Parâmetros: Número de parâmetros (proxy para custo computacional).

Análise de Variáveis

Os modelos foram agrupados e comparados baseando-se em:

• Estratégias de Treinamento: Supervisionado (SL), Auto-supervisionado (Self-SL) com fine-tuning ou linear probing, Semi-supervisionado, Treinamento Adversarial e estratégias A[1,2,3] (diferentes durações e técnicas de otimização).
• Arquiteturas: CNNs vs. Transformers (ViT, Swin, etc.), modelos B-cos e Modelos Visão-Linguagem (ViL/CLIP).
• Tamanho do Dataset: Comparação entre modelos treinados apenas no ImageNet-1k vs. ImageNet-21k ou datasets massivos (WebLI, LAION).

Métrica Proposta: QUBA Score

Para evitar a complexidade de comparar modelos em múltiplas dimensões com escalas diferentes, os autores introduziram o QUBA Score (Quality Understanding Beyond Accuracy).

• Cálculo: Baseia-se na média e desvio padrão de cada dimensão calculados sobre o "zoológico" de 326 modelos.
• Normalização: Cada modelo é pontuado pelo número de desvios padrão que ele se afasta da média em cada dimensão.
• Ponderação: Uma média ponderada aritmética é calculada, permitindo ajustar a importância de cada dimensão conforme a necessidade do usuário (ex: priorizar robustez vs. custo).

3. Principais Contribuições

1. Benchmark Unificado: Introdução de um protocolo de avaliação que mede nove dimensões de qualidade simultaneamente para qualquer backbone compatível com ImageNet-1k.
2. Estudo em Larga Escala: Avaliação sistemática de 326 modelos, fornecendo uma visão panorâmica (bird's-eye view) do estado da arte.
3. Análise de Relações: Mapeamento das correlações entre as dimensões de qualidade (ex: como a robustez adversarial se correlaciona com a calibração ou o viés de forma).
4. Métrica QUBA: Uma nova métrica de ranking que permite recomendações de modelos personalizadas para necessidades específicas, superando a limitação de rankings baseados apenas em acurácia.
5. Revisão de Modelos Canônicos: Demonstração de que modelos amplamente utilizados (como ResNet50 e ViT padrão) podem ter desempenho inferior em várias dimensões de qualidade em comparação com modelos mais recentes.

4. Resultados Chave

Estratégias de Treinamento

• Auto-supervisionado (Self-Supervised Learning): Modelos inicializados com pesos de auto-supervisão e subsequentemente fine-tuned (E2E) superam os modelos supervisionados na maioria das dimensões, incluindo robustez, equilíbrio de classes e foco no objeto. Curiosamente, isso melhora o equilíbrio de classes mesmo quando treinados em datasets desbalanceados, pois os recursos aprendidos são menos específicos a classes.
• Tamanho do Dataset: Treinar em datasets maiores (ImageNet-21k ou maiores) melhora quase todas as dimensões, especialmente acurácia, robustez a corrupções e calibração.
• Treinamento Adversarial: Melhora a robustez adversarial, o viés de forma e a robustez OOD, mas piora significativamente a acurácia e o equilíbrio de classes.
• Modelos Visão-Linguagem (ViL): Modelos como CLIP e SigLIP exibem alta robustez OOD e excelente equilíbrio de classes, mas sofrem em acurácia (devido à classificação zero-shot), calibração e possuem um número massivo de parâmetros.

Arquiteturas

• Transformers vs. CNNs: Os Transformers (ex: ViT, Swin, ConvNeXt) superam consistentemente as CNNs em quase todas as dimensões de qualidade, exceto na acurácia onde são comparáveis.
• B-cos Transform: A substituição de transformações lineares por B-cos para melhorar a interpretabilidade resultou em queda significativa na maioria das métricas de qualidade.

Correlações e Trade-offs

• Acurácia e Equilíbrio: Há uma forte correlação positiva entre alta acurácia e bom equilíbrio de classes.
• Foco no Objeto: Modelos com melhor foco no objeto tendem a ter melhor desempenho em quase todas as outras dimensões.
• Calibração: O erro de calibração não mostra correlação estatisticamente significativa com a maioria das outras dimensões, indicando que é um problema independente que requer atenção específica.
• Robustez Adversarial vs. OOD/Corrupção: Ao contrário de estudos anteriores com conjuntos de dados menores, este estudo não encontrou correlação significativa entre robustez adversarial e robustez a corrupções ou OOD quando analisado em todo o espectro de modelos.

Ranking QUBA

• Os modelos com maior pontuação QUBA (ex: EVA02-B/14, Hiera-B-Plus, ConvNeXtV2-B) geralmente combinam arquiteturas modernas (Transformers ou CNNs de última geração) com pré-treinamento auto-supervisionado e fine-tuning em grandes datasets.
• Modelos clássicos como ResNet50 e ViT-B/16 (treinados apenas de forma supervisionada no ImageNet-1k) ocupam posições baixas no ranking QUBA, sugerindo que a comunidade deve reconsiderar seu uso como "baselines" padrão.

5. Significado e Impacto

Este trabalho representa um avanço fundamental na avaliação de modelos de visão computacional ao deslocar o foco da "acurácia máxima" para a "qualidade holística".

• Para Pesquisadores: Oferece um guia baseado em dados sobre quais estratégias de treinamento e arquiteturas produzem modelos mais robustos, justos e eficientes.
• Para Praticantes: A métrica QUBA permite selecionar o modelo ideal para uma aplicação específica (ex: priorizar robustez em sistemas de segurança ou eficiência em dispositivos móveis), em vez de escolher cegamente o modelo com maior acurácia.
• Mudança de Paradigma: O estudo demonstra que é possível desenvolver modelos que excelam em múltiplas dimensões simultaneamente, desafiando a ideia de que trade-offs severos são inevitáveis. A conclusão é que o desenvolvimento de modelos "bem-comportados" deve considerar um espectro amplo de qualidade, e não apenas um único indicador.

O código, dados e o zoológico de modelos estão disponíveis publicamente para facilitar a reprodução e extensão desses estudos.