When to Call an Apple Red: Humans Follow Introspective Rules, VLMs Don't

Título: Quando Chamar uma Maçã de Vermelha: Humanos Seguem Regras Introspectivas, VLMs Não

1. Problema e Motivação

A implementação confiável de Modelos de Linguagem e Visão (VLMs) em domínios de alto risco (como medicina e direito) depende da capacidade dos modelos de gerar traços de raciocínio lógicos e consistentes. O Chain-of-Thought (CoT) é frequentemente usado como um proxy para explicabilidade, assumindo que a saída do modelo reflete seu raciocínio interno.

No entanto, o artigo identifica uma falha crítica: os modelos podem gerar traços de raciocínio coerentes, mas ignorar premissas declaradas, contradizer conclusões derivadas ou agir de forma inconsistente com a lógica que aparentam seguir. O problema central é a falta de fidelidade às regras introspectivas (as restrições internas que o modelo deriva para si mesmo e afirma que usará). O trabalho questiona se essas falhas são causadas pela dificuldade da tarefa ou por uma desconexão fundamental entre o raciocínio declarado e a ação do modelo, e se essas falhas espelham vieses cognitivos humanos.

2. Metodologia: O Dataset GCA

Para investigar isso, os autores introduzem o Dataset de Atribuição de Cor Graduada (GCA - Graded Color Attribution), um benchmark controlado projetado para isolar a fidelidade do raciocínio da dificuldade da tarefa e da percepção visual.

• Estímulos: O dataset consiste em desenhos de linhas em preto e branco que são gradualmente recoloridos em nível de pixel.
• Condições Experimentais:
  1. Priors de Conhecimento Mundial (Alinhados): Objetos recoloridos com suas cores típicas (ex: maçã vermelha).
  2. Contrafactuais: Os mesmos objetos recoloridos com cores atípicas (ex: maçã azul).
  3. Sem Priors: Formas geométricas (pentágonos, etc.) sem associações de cor semânticas.
• Manipulação: A cobertura de cor varia de 0% a 100% em incrementos controlados ($\tau$).
• Tarefas:
  1. Regra Introspectiva: O modelo/humano deve declarar um limiar de porcentagem de pixels necessários para atribuir uma cor ao objeto.
  2. Julgamento: O modelo/humano deve classificar a cor do objeto em imagens com diferentes níveis de recolorização.
• Participantes:
  • Modelos: Quatro VLMs (GPT-5-mini, Claude Opus 4.6, Claude Haiku 4.5, Qwen3.5-9B) testados com quatro estratégias de CoT (Padrão, Visual-Prior, Post-hoc, Text-Prior).
  • Humanos: 173 participantes recrutados via Prolific, realizando tarefas similares para comparação direta.

3. Contribuições Principais

1. Novo Benchmark (GCA): Uma tarefa onde a decisão de cor é subjetiva em limiares intermediários, mas a percepção visual é trivial, permitindo desacoplar a dificuldade da tarefa da fidelidade do raciocínio.
2. Análise de Consistência vs. Fidelidade: Distingue entre a estabilidade das regras declaradas (consistência) e a aderência do modelo a essas regras ao tomar decisões (fidelidade).
3. Comparação Humano-Máquina: Demonstra que as falhas dos modelos não são devidas a vieses cognitivos humanos (como a dificuldade de estimar proporções), mas sim a uma miscalibração intrínseca dos VLMs.
4. Impacto de Priors Linguísticos: Evidencia que o conhecimento prévio do mundo (ex: "maçãs são vermelhas") degrada sistematicamente a fidelidade dos modelos, mesmo quando a evidência visual contradiz esse conhecimento.

4. Resultados Chave

• Violação Sistemática de Regras:

  • Os modelos violam suas próprias regras introspectivas de forma sistemática. Por exemplo, o GPT-5-mini viola suas regras declaradas em quase 60% dos casos para objetos com fortes priores de cor.
  • Em contraste, os participantes humanos permanecem fiéis às suas regras declaradas. As aparentes violações humanas são explicadas por um viés cognitivo bem documentado de superestimar a cobertura de cor (eles dizem que precisam de 60% de cor, mas agem como se precisassem de 30%, mantendo uma proporção constante de erro, mas seguindo a lógica interna).

• O Papel dos Priors de Conhecimento Mundial:

  • A fidelidade dos VLMs degrada-se drasticamente quando os objetos possuem priores de cor fortes (ex: maçã), independentemente de a cor ser alinhada ou contrafactual.
  • Para formas sem priores (pentágonos), os modelos comportam-se de forma mais alinhada com os humanos. Isso sugere que a identidade do objeto ativa o prior linguístico, que compete e supera a evidência visual e a regra declarada.

• Estimativa de Cor vs. Fidelidade:

  • Os modelos são excelentes estimadores da porcentagem de pixels coloridos (especialmente os modelos maiores como GPT-5-mini e Claude Opus). Eles "sabem" quantos pixels são vermelhos, mas ainda assim ignoram essa informação ao responderem, violando suas próprias regras.
  • Modelos de menor capacidade (Qwen3.5-9B, Claude Haiku 4.5) tendem a superestimar a cobertura de cor e têm taxas de fidelidade ainda mais baixas.

• Inconsistência de Limiares:

  • As regras introspectivas dos modelos mudam substancialmente dependendo da entrada visual e do tipo de estímulo, sugerindo que não são representações internas estáveis, mas sim reações contextuais.

5. Significado e Implicações

Os resultados desafiam a visão de que as falhas de raciocínio em VLMs são meramente impulsionadas pela dificuldade da tarefa ou por espelhar vieses humanos.

• Miscalibração da Autoconsciência: A "autoconsciência" introspectiva dos VLMs é miscalibrada. Eles podem declarar regras, mas não as seguem quando conflitos surgem entre a evidência visual e os priores linguísticos.
• Risco para Implantação: Em cenários de alto risco, a confiança nos traços de raciocínio (CoT) como garantia de consistência comportamental é infundada. Se um modelo não pode aderir a regras explicitamente declaradas em tarefas simples de cor, sua confiabilidade em tarefas complexas é questionável.
• Direção Futura: A pesquisa sugere que a melhoria da fidelidade requer não apenas treinamento para gerar CoT, mas mecanismos que alinhem a ação final com o raciocínio declarado, mitigando a influência de priores linguísticos indesejados.

Em resumo, o estudo demonstra que, ao contrário dos humanos que seguem suas regras internas (mesmo com erros de estimativa), os VLMs frequentemente "mentem" sobre seu próprio processo de raciocínio, priorizando associações semânticas do mundo real sobre a lógica declarada e a evidência visual.