Do Machines Fail Like Humans? A Human-Centred Out-of-Distribution Spectrum for Mapping Error Alignment

Este artigo propõe um novo quadro de referência centrado no ser humano para analisar o alinhamento entre modelos de IA e a cognição humana, redefinindo a distribuição fora do padrão (OOD) como um espectro de dificuldade perceptual para revelar que a consistência do alinhamento varia significativamente dependendo da arquitetura do modelo e do nível de desafio perceptual.

O essencial

Imagine que você está tentando ensinar um robô a reconhecer objetos, como um gato ou um carro. Você testa o robô com fotos perfeitas e claras, e ele acerta tudo, até melhor que você. "Ótimo!", você pensa. "Ele é humano!"

Mas e se você tirar uma foto do gato com a lente embaçada, com muita estática, ou cortada de um jeito estranho? O robô pode começar a errar de formas muito diferentes das suas. Talvez ele veja um gato como um cachorro, enquanto você, mesmo com a foto ruim, ainda consegue ver que é um gato (ou pelo menos sabe que não é um cachorro).

Este artigo, escrito por pesquisadores da Fudan University e da UCL, pergunta uma coisa fundamental: Quando as máquinas falham, elas falham como os humanos?

A resposta curta é: Depende de quão "ruim" a imagem está.

Aqui está a explicação simples, usando algumas analogias divertidas:

1. O Problema: Medir a Dificuldade com uma Régua Errada

Antes, os cientistas testavam os robôs usando "parâmetros técnicos". Era como se dissessem: "Vamos testar o robô com uma foto que tem o filtro de 'baixa frequência' no nível 5 e a de 'alta frequência' no nível 1".

O problema? Isso é como comparar maçãs com laranjas. Um filtro no nível 5 pode ser super fácil para um humano, mas o nível 1 de outro filtro pode ser impossível. Era como tentar medir a altura de pessoas usando uma régua que muda de tamanho dependendo de quem está sendo medido. Não dava para saber se o robô estava errando porque era "burro" ou porque a tarefa estava apenas muito mais difícil do que parecia.

2. A Solução: A "Régua da Percepção Humana"

Os autores criaram uma nova maneira de medir as coisas. Em vez de olhar para os números técnicos da câmera, eles olharam para o quanto os humanos tiveram dificuldade.

Eles criaram o que chamam de "Espectro de Fora de Distribuição" (OOD Spectrum). Pense nisso como uma escada de dificuldade baseada na experiência humana:

• Degraus Normais: Fotos claras.
• Degraus Levemente Dificultados: Fotos com um pouco de ruído (como se você estivesse com sono).
• Degraus Muito Dificultados: Fotos tão ruins que é difícil dizer o que é (como tentar ver algo através de um vidro sujo).
• Degraus Impossíveis: Fotos que são apenas estática. Ninguém consegue ver nada.

A grande descoberta foi que a dificuldade humana não é linear. O que é difícil para um robô pode ser fácil para nós, e vice-versa.

3. As Descobertas: Quem é o "Mais Humano"?

Eles testaram três tipos de "cérebros" de IA:

1. CNNs (Redes Neurais Clássicas): Como olhos treinados para ver texturas e padrões locais.
2. ViTs (Transformadores de Visão): Como olhos que olham para o todo e para as relações globais.
3. VLMs (Modelos de Linguagem e Visão): Como olhos que leem legendas e entendem o contexto (sabe que "cachorro" geralmente aparece em "parque").

Eis o que eles descobriram, usando a analogia de uma corrida em terrenos diferentes:

• No Terreno Fácil (Imagens levemente distorcidas):

  • As CNNs e os VLMs correm muito bem e parecem muito humanos. Eles erram do jeito que nós erramos.
  • Os ViTs (Transformadores) estranhamente erram de um jeito muito diferente, mesmo acertando a resposta certa. Eles são como um corredor que corre rápido, mas com uma técnica de corrida que ninguém mais usa.

• No Terreno Difícil (Imagens muito distorcidas):

  • As CNNs desistem completamente. Elas entram em pânico e erram tudo de formas que humanos nunca fariam. É como se elas perdessem a noção do mundo.
  • Os ViTs surpreendem! Eles se adaptam melhor e começam a errar de formas mais parecidas com as humanas.
  • Os VLMs são os campeões. Eles mantêm a postura mais humana em todas as situações. É como se eles tivessem um "mapa mental" do mundo que os ajuda a adivinhar o que está acontecendo, mesmo quando a imagem está ruim.

4. A Lição Principal

O artigo nos ensina que acerto não é tudo. Um robô pode ter 99% de acerto em fotos boas, mas se ele errar de forma "estranha" quando as coisas ficam difíceis, ele não é realmente inteligente como um humano.

• Humanos têm uma "degradação graciosa": quando a imagem fica ruim, nossa visão piora devagar e de forma consistente.
• Robôs muitas vezes têm "falhas catastróficas": eles vão bem até um certo ponto e, de repente, colapsam de formas imprevisíveis.

Conclusão

Para criar robôs que confiamos (e que são seguros), não basta que eles acertem a resposta certa. Eles precisam errar como nós. Se um carro autônomo vai bater em algo, é melhor que ele bata como um humano bateria (por exemplo, confundindo um saco de plástico com um animal), e não de uma forma estranha e inexplicável que um humano jamais faria.

Os autores criaram um novo "termômetro" para medir essa semelhança, garantindo que, no futuro, possamos construir máquinas que não apenas vejam o mundo, mas que o entendam da mesma forma que nós.

Resumo técnico

1. O Problema

A avaliação de se os sistemas de Inteligência Artificial (IA) processam informações de maneira semelhante aos humanos é fundamental para a ciência cognitiva e para a criação de IAs confiáveis. Embora os modelos modernos de IA frequentemente atinjam ou superem a precisão humana em tarefas padrão, essa paridade não garante que suas estratégias de tomada de decisão subjacentes estejam alinhadas com o processamento de informações humanas.

O artigo identifica quatro lacunas críticas nas abordagens atuais para comparar o desempenho humano e de modelos sob condições desafiadoras (fora da distribuição ou Out-of-Distribution - OOD):

1. Definição de OOD: O conceito de OOD é tradicionalmente definido em relação aos dados de treinamento do modelo, o que não se aplica diretamente aos humanos, que não possuem uma "distribuição de treinamento" controlada e finita.
2. Parâmetros Arbitrários: O nível de degradação das imagens é definido por parâmetros de processamento de imagem (ex: intensidade de filtro), que não possuem uma correspondência universal com a dificuldade perceptiva humana. Um parâmetro de filtro de baixa passagem não é diretamente comparável a um de alta passagem em termos de impacto na percepção.
3. Condições Inadequadas: Nem todas as condições de degradação são úteis para análise. Imagens tão distorcidas que são irreconhecíveis para humanos (nível de acaso) não devem ser usadas para avaliar o alinhamento.
4. Falta de Linha de Base: Valores brutos de alinhamento modelo-humano podem ser enganosos sem considerar o alinhamento humano-humano. Se os humanos não concordam entre si em uma tarefa, não se pode esperar alto alinhamento com o modelo.

2. Metodologia

Os autores propõem um framework centrado no ser humano para redefinir o espectro OOD com base na dificuldade perceptiva humana, em vez de parâmetros técnicos.

• Construção do Espectro OOD:

  • Utilizaram o conjunto de dados modelvshuman, contendo desempenho humano em imagens distorcidas sistematicamente.
  • Definiram uma distribuição de referência baseada em imagens não distorcidas.
  • Calcularam o desvio do desempenho humano em relação a essa referência usando o tamanho do efeito Glass's $\Delta$ aplicado aos logits de precisão. Essa métrica é chamada de Pontuação OOD.
  • Isso permite mapear todas as distorções em uma escala contínua baseada na degradação da percepção humana.

• Identificação de Regimes:

  • Aplicaram um Modelo de Mistura Gaussiana (GMM) às pontuações OOD para agrupar as condições em quatro regimes distintos de dificuldade perceptiva:
    1. Referência: Variação natural em imagens não distorcidas.
    2. Near-OOD (Próximo): Redução moderada de precisão.
    3. Far-OOD (Longe): Zona de transição com declínio variável de desempenho.
    4. Extreme-OOD (Extremo): Desempenho no nível do acaso (excluído da análise principal).

• Métricas de Alinhamento:

  • Consistência de Erro (EC): Mede a sobreposição de amostras mal classificadas entre pares.
  • Acordo de Mal Classificação (MA): Mede com que frequência os sistemas preveem a mesma classe incorreta quando ambos erram.
  • Divergência de Erro no Nível de Classe (CLED): Usado para comparar perfis de erro entre diferentes condições de distorção.

• Modelos Testados: 31 modelos abrangendo três famílias arquitetônicas: Redes Neurais Convolucionais (CNNs), Vision Transformers (ViTs) e Modelos Visão-Linguagem (VLMs).

3. Contribuições Principais

1. Framework de Espectro OOD Centrado no Humano: Uma nova definição de OOD baseada na dificuldade perceptiva humana quantificável, permitindo comparações justas entre diferentes tipos de distorção.
2. Descoberta de Regimes Distintos: A demonstração de que o alinhamento erro-humano não é uniforme, mas varia significativamente entre regimes de "perto" e "longe" da distribuição.
3. Análise de Perfis de Arquitetura: Uma caracterização empírica de como diferentes arquiteturas (CNNs, ViTs, VLMs) alinham-se com a percepção humana em diferentes níveis de degradação, revelando vieses indutivos específicos.
4. Linha de Base Humana-Humana: A introdução da normalização do alinhamento modelo-humano em relação ao alinhamento humano-humano, estabelecendo um limite superior realista para o desempenho do modelo.

4. Resultados Chave

• Estrutura do Erro Humano: A dificuldade perceptiva (nível OOD) é um fator mais forte na estruturação dos perfis de erro humanos do que o tipo de distorção. Em regimes Near-OOD, os erros humanos são consistentes e guiados pelo estímulo. Em regimes Far-OOD, os erros tornam-se mais dependentes do observador e menos sistemáticos.
• Alinhamento por Arquitetura:
  • VLMs (Modelos Visão-Linguagem): Mostraram o alinhamento mais consistente com humanos em ambos os regimes (Near e Far OOD). Isso sugere que o conhecimento semântico baseado em linguagem atua como uma "andaime" que mantém o comportamento próximo ao humano mesmo quando as características visuais de baixo nível estão degradadas.
  • CNNs: Alinharam-se melhor com humanos no regime Near-OOD, possivelmente porque humanos e CNNs exploram pistas de textura que ainda estão parcialmente intactas. No entanto, no regime Far-OOD, o alinhamento das CNNs colapsou (EC e MA próximos de zero), indicando que suas representações não são robustas a degradações severas.
  • ViTs (Vision Transformers): Apresentaram o pior alinhamento no Near-OOD (apesar de alta precisão), mas superaram as CNNs no Far-OOD, alcançando níveis comparáveis aos VLMs. Isso sugere que a menor dependência de texturas de alta frequência dos ViTs permite decisões mais "humanas" sob degradação severa.
• Inconsistência de Precisão vs. Alinhamento: Alta precisão não garante alinhamento de erros. Modelos podem acertar a resposta correta de maneira diferente da humana, ou errar de formas que não refletem a incerteza humana.

5. Significado e Implicações

Este trabalho demonstra que a avaliação de alinhamento entre humanos e máquinas deve ser condicional à dificuldade da tarefa.

• Robustez e Confiabilidade: Modelos que falham de maneira semelhante aos humanos são mais previsíveis e interpretáveis em cenários do mundo real. O framework proposto permite identificar quais arquiteturas possuem robustez "graceful" (degradação suave) semelhante à humana.
• Ciência Cognitiva: O espectro OOD oferece uma ferramenta para investigar estratégias de processamento visual individual e como vieses indutivos de diferentes arquiteturas se comparam aos mecanismos biológicos.
• Futuro da IA: A descoberta de que os VLMs mantêm o alinhamento em condições extremas sugere que a integração multimodal (visão + linguagem) pode ser crucial para desenvolver IAs que não apenas sejam precisas, mas também confiáveis e alinhadas com a cognição humana em cenários adversos.

Em resumo, o artigo argumenta que "máquinas falham como humanos?" depende de como e quão difícil é a tarefa, e propõe uma metodologia rigorosa para mapear essas falhas além da simples métrica de acurácia.