Scale Can't Overcome Pragmatics: The Impact of Reporting Bias on Vision-Language Reasoning

O estudo demonstra que o viés de relato nos dados de treinamento de Modelos Visuais-Linguísticos impede o desenvolvimento de habilidades de raciocínio (como espacial, temporal, negação e contagem), mostrando que o aumento de escala não supera essa limitação e que a curadoria intencional de dados com informações tácitas é essencial para corrigi-la.

O essencial

Imagine que você está tentando ensinar uma criança a entender o mundo apenas mostrando-lhe fotos e lendo legendas escritas por pessoas comuns na internet. O problema é que as pessoas, ao descreverem fotos, tendem a ser "preguiçosas" ou, mais precisamente, pragmáticas. Elas dizem apenas o que é estritamente necessário para a conversa, ignorando detalhes óbvios ou que exigem um esforço mental extra.

Este artigo, escrito por pesquisadores de universidades e institutos de IA, diz que os modelos de Inteligência Artificial (chamados VLMs - Modelos Visão-Linguagem) estão falhando em tarefas de raciocínio (como contar objetos, entender posições no espaço ou negar coisas) não porque são "burros", mas porque o material de estudo deles tem um viés de relato.

Aqui está a explicação simplificada com analogias:

1. O Problema: A "Economia de Palavras" dos Humanos

Quando você vê uma foto de um gato e um cachorro, você provavelmente escreve: "Um gato e um cachorro brincando".
Você não escreve: "Um gato à esquerda de um cachorro, com o cachorro à direita do gato, e o gato não está voando".

Por quê? Porque, segundo as regras da comunicação humana (chamadas de Máximas de Grice), dar detalhes óbvios ou que não são o foco da conversa é considerado "excesso de informação" ou até confuso.

• A Analogia: Imagine que você está descrevendo uma sala para um amigo pelo telefone. Você diz: "Tem uma mesa no meio". Você não diz: "Tem uma mesa no meio, e não tem uma mesa no canto, e a mesa não está flutuando".
• O Resultado: Os modelos de IA aprendem com esses textos. Como quase ninguém escreve sobre "esquerda", "direita", "antes", "depois" ou "não", a IA nunca aprende a fazer esse tipo de raciocínio. Ela só vê o que é dito, não o que é omisso.

2. A Ilusão do "Tamanho" (Escalabilidade)

Muitas pessoas acreditam que, se jogarmos mais dados (bilhões de fotos) e usarmos modelos maiores, a IA vai "descobrir" sozinha como raciocinar. É como se pensássemos: "Se eu ler 1 milhão de livros, vou aprender a resolver equações complexas, mesmo que nenhum livro tenha matemática".

• O que o artigo descobriu: Não funciona assim. Mesmo com dados em escala de "web" (bilhões de exemplos), se o padrão de escrita humana continuar omitindo esses detalhes, a IA continuará ruim nisso.
• A Analogia: É como tentar ensinar alguém a cozinhar um prato específico apenas dando a ele 1 milhão de receitas que nunca mencionam o ingrediente principal. Não importa o quanto você aumente a quantidade de receitas, a pessoa nunca vai saber como fazer o prato se o ingrediente nunca for mencionado.

3. A Solução: O "Guia de Instruções"

Os pesquisadores testaram uma ideia simples: e se mudarmos as instruções para quem escreve as legendas?

• O Experimento: Eles pediram para pessoas descreverem fotos com instruções específicas, como: "Descreva quantos objetos há" ou "Diga se o objeto está à esquerda ou à direita".
• O Resultado: Quando as pessoas foram explicitamente instruídas a incluir esses detalhes, elas o fizeram! A quantidade de textos com "contagem", "negação" e "espaço" aumentou drasticamente.
• A Analogia: É como um professor que diz a um aluno: "Hoje, em vez de apenas contar a história, você deve focar em descrever as cores das roupas de cada personagem". O aluno, que antes ignorava as cores, passa a incluí-las porque foi solicitado.

4. O Veredito Final

O artigo conclui que:

1. A IA não é falha por natureza: Ela é falha porque os dados de treinamento refletem a forma "preguiçosa" e pragmática como os humanos falam.
2. Mais dados não resolvem: Jogar mais do mesmo tipo de dado não cria novas habilidades de raciocínio.
3. A cura é a curadoria intencional: Precisamos criar bancos de dados onde as instruções forçam a inclusão desses detalhes "invisíveis". Se ensinarmos a IA com exemplos que contêm negações, contagens e relações espaciais, ela aprende a raciocinar.

Em resumo: Para ter uma IA que raciocine bem, não basta ter mais livros; precisamos garantir que os livros tenham as páginas certas escritas de um jeito diferente. Precisamos ser intencionais na forma como coletamos os dados, em vez de apenas confiar no volume bruto.

Resumo técnico

1. O Problema

Os Modelos Visão-Linguagem (VLMs) atuais, apesar de seu desempenho impressionante em benchmarks padronizados, falham consistentemente em tarefas que exigem raciocínio complexo, especificamente em quatro áreas:

1. Raciocínio Espacial: Entender relações como "à esquerda de", "acima de".
2. Raciocínio Temporal: Compreender sequências como "antes de", "depois de".
3. Contagem: Identificar quantidades exatas de objetos.
4. Negação: Compreender o que não está presente na imagem (ex: "um urso que não está voando").

Os autores hipotetizam que essa falha não se deve à arquitetura do modelo ou à falta de dados, mas sim a um Viés de Relato (Reporting Bias) nos dados de treinamento. Quando as pessoas descrevem imagens na internet (captions, textos alternativos), elas omitem sistematicamente informações "tácitas" que são óbvias para o contexto humano, mas essenciais para o treinamento de IA. Por exemplo, é mais provável que alguém escreva "no jogo hoje!" do que "uma foto de 37 pessoas atrás de um campo". A escala massiva de dados (web-scale) não corrige isso, pois o comportamento humano de omissão persiste independentemente do volume de dados.

2. Metodologia

A pesquisa adota uma abordagem multidisciplinar, combinando linguística, pragmática (máximas de Grice) e ciência cognitiva para analisar dados de VLMs.

• Análise Teórica: Os autores identificam que as máximas conversacionais (como ser conciso e relevante) levam os humanos a omitir preposições espaciais, temporais, contagens exatas e negações, a menos que haja um motivo específico para incluí-las.
• Análise de Corpora: Eles analisaram três grandes conjuntos de dados de treinamento de VLMs de código aberto:
  • LAION-2B (OpenCLIP): Dados raspados da web.
  • LLaVA-1.5: Dados com instruções de anotação.
  • Molmo: Dados com instruções específicas e dados sintéticos.
  • Método: Realizaram buscas por palavras-chave relacionadas a cada tipo de raciocínio e calcularam a taxa de "verdadeiros positivos" (onde a palavra-chave realmente reflete o raciocínio na imagem), estimando a frequência real desses conceitos.
• Benchmarks Personalizados: Criaram quatro benchmarks de avaliação (baseados em What'sUp, CountBench, VAW e ControlledImCaps) para testar modelos contrastivos (como CLIP) e generativos (como LLaVA, Molmo, GPT-4o) em tarefas de múltipla escolha ou geração direta.
• Estudos de Escala e Diversidade:
  • Testaram se aumentar o tamanho do modelo e dos dados (Lei de Escala) melhora o raciocínio.
  • Testaram se adicionar diversidade multilíngue (traduzindo legendas não-inglesas para inglês) ajuda.
• Estudo de Usuário (Mitigação): Realizaram um estudo controlado com anotações humanas usando o mesmo conjunto de imagens (COCO) mas com diferentes instruções para os anotadores:
  1. Instruções padrão (COCO).
  2. Instruções estilo LLaVA (foco em contagem e posição).
  3. Instruções estilo PixMo.
  4. Instruções Propostas: Solicitação explícita para incluir os quatro tipos de raciocínio (espacial, temporal, contagem, negação).
• Ajuste Fino (Fine-tuning): Validaram se o aumento na representação de dados de raciocínio (através das novas instruções) melhorava o desempenho do modelo ao fazer fine-tuning no LLaVA-1.5.

3. Contribuições Principais

1. Identificação do Viés de Relato: Demonstraram que o viés de relato é uma causa fundamental da falta de raciocínio em VLMs, mesmo em corpora de escala web (bilhões de pontos de dados).
2. Falha da Escala: Provaram empiricamente que aumentar o tamanho do modelo, a quantidade de dados ou a diversidade de idiomas não resulta no surgimento (emergence) dessas habilidades de raciocínio. O comportamento humano subjacente ao viés não muda com a escala.
3. Solução via Instruções: Mostraram que instruções de anotadores (ou prompts para LLMs geradores de dados) podem mitigar eficazmente o viés, aumentando drasticamente a presença de conceitos de raciocínio nos dados.
4. Benchmarks e Dados: Liberaram benchmarks de avaliação e dados de estudo para a comunidade, focados especificamente nessas lacunas de raciocínio.

4. Resultados Chave

• Frequência nos Dados: Em corpora massivos como o LAION, a ocorrência estimada de raciocínio espacial é de apenas 0,1%. Negativas e raciocínio temporal são ainda mais raros.
• Desempenho dos Modelos:
  • Modelos de código aberto (OpenCLIP, LLaVA, Molmo) performam muito mal nessas tarefas, ficando em média 54 pontos atrás do desempenho humano.
  • Modelos fechados (GPT-4o, o1, Claude-3.5) performam melhor, mas ainda falham significativamente em negações e raciocínio temporal, sugerindo que mesmo dados proprietários sofrem com esse viés.
• Lei de Escala: Ao plotar as curvas de aprendizado, os autores mostram que, ao contrário de tarefas de percepção (como ImageNet), o aumento de compute (dados + parâmetros) não reduz a perda de erro para tarefas de raciocínio. Seria necessária uma quantidade de dados intratável para atingir o desempenho humano apenas por escala.
• Diversidade Multilíngue: Adicionar legendas traduzidas de outros idiomas não melhorou o desempenho, indicando que o viés de omissão é universal entre os falantes, não apenas uma limitação do inglês.
• Impacto das Instruções:
  • No estudo de usuários, as instruções padrão (COCO) geraram quase nenhuma negação ou raciocínio temporal.
  • As instruções propostas aumentaram a ocorrência verdadeira de negações de ~2% para 52% e de raciocínio temporal de ~2% para 44%.
  • O fine-tuning de um modelo com dados gerados por essas instruções melhorou significativamente sua capacidade de contagem em comparação ao fine-tuning com dados padrão.

5. Significado e Implicações

O artigo desafia a crença popular de que "mais dados" e "modelos maiores" resolverão automaticamente as limitações de raciocínio dos VLMs.

• Curadoria Intencional: A qualidade e a intencionalidade na curadoria de dados são mais importantes que a escala bruta. É necessário coletar dados com instruções específicas para forçar a inclusão de informações que os humanos omitiriam naturalmente.
• Dados Sintéticos: O viés de relato também afeta dados sintetizados por LLMs (como no LLaVA), pois esses modelos são treinados em dados humanos enviesados. Portanto, os prompts usados para gerar dados sintéticos devem ser rigorosos para evitar a propagação do viés.
• Futuro da Pesquisa: A solução não é apenas escalar, mas sim desenvolver métodos de coleta de dados que "quebrem" as máximas conversacionais padrão para garantir que informações tácitas (espaço, tempo, negação, contagem) sejam explicitamente registradas nos corpora de treinamento.

Em resumo, a pragmática humana (como falamos) é um obstáculo maior para o raciocínio da IA do que a falta de capacidade computacional. Superar isso exige uma mudança na estratégia de coleta de dados, focando na intencionalidade das instruções aos anotadores.