Increasing Computation Resolves Conflicts in Vision Language Models

1. Problema e Motivação

O comportamento humano é caracterizado pela flexibilidade e pela capacidade de coordenar fontes de informação concorrentes em busca de objetivos, um fenômeno conhecido como controle cognitivo. No entanto, é incerto se os Modelos de Linguagem e Visão (VLMs) atuais exibem mecanismos semelhantes de controle cognitivo, especialmente em cenários reais onde sinais ruidosos e conflitantes são prevalentes (ex: diagnósticos médicos, direção autônoma).

A lacuna principal reside na falta de avaliação sistemática sobre como os VLMs lidam com interferências onde informações visuais e textuais (ou diferentes modalidades visuais) entram em conflito. Sem mecanismos robustos para priorizar informações relevantes e suprimir pistas enganosas, os VLMs podem falhar sistematicamente em ambientes multimodais ambíguos.

2. Metodologia

2.1. Construção do Benchmark

Os autores desenvolveram um benchmark abrangente composto por 4.410 tarefas distribuídas em 7 paradigmas de conflito, testados em 47 VLMs diferentes (variando de modelos de código aberto de 1B a 110B de parâmetros e modelos proprietários). O conjunto de dados inclui:

• 4 Tarefas Clássicas: Stroop, Stroop Quadrado (Squared), Flanker e Flanker Quadrado.
• 3 Tarefas Realistas (Foto-realistas):
  • Stroop-Object: Conflito entre o objeto visual e um rótulo de texto sobreposto (ex: imagem de um carro com o texto "moto").
  • Stroop-Attribute: Conflito entre propriedades visuais (cor, forma, emoção) e descrições textuais.
  • Conflitos de Contexto Visual vs. Conhecimento: Conflito entre o que é visto na cena e o conhecimento paramétrico prévio (ex: uma girafa no oceano, perguntando sobre seu habitat natural).

2.2. Geração de Dados e Controle de Qualidade

• Programação Visual: As tarefas clássicas foram geradas programaticamente para variar fontes, tamanhos e posições, evitando saturação de desempenho.
• Foto-realismo: Para as tarefas realistas, utilizou-se um pipeline de três etapas baseado no modelo generativo Gemini-2.5-flash-image-preview. O processo cria trios de imagens: (1) imagem base, (2) imagem de conflito (com texto sobreposto contraditório) e (3) imagem de correspondência (texto congruente), garantindo que as únicas diferenças sejam as manipulações textuais.
• Revisão Humana: Todos os itens passaram por uma revisão rigorosa de dois revisores para garantir comparabilidade, clareza e ausência de artefatos de geração.

2.3. Configuração Experimental

• Escalonamento: Os modelos foram testados em clusters de GPU (NVIDIA A100) para inferência.
• Métrica Principal: O efeito de congruência (diferença de acurácia entre condições congruentes e incongruentes) e a relação entre o tamanho do modelo (número de parâmetros) e a capacidade de resolução de conflitos.

3. Contribuições Principais

1. Primeira Avaliação Sistemática de Controle Cognitivo em VLMs: O trabalho estabelece um framework unificado baseado em paradigmas clássicos da psicologia cognitiva humana para avaliar VLMs.
2. Descoberta do "Efeito de Congruência" Robusto: Demonstra que VLMs sofrem consistentemente com interferência cognitiva, apresentando queda significativa de acurácia em tarefas incongruentes.
3. Parâmetros como Recurso Computacional: Estabelece que o número de parâmetros atua como um proxy para a capacidade de resolução de conflitos. Modelos maiores resolvem conflitos de forma mais eficaz do que modelos menores.
4. Reprodução da Dinâmica Temporal Humana: O papel mais inovador é a descoberta de que VLMs maiores replicam a relação "demanda-recurso" observada em humanos. Em tarefas de alto conflito, modelos grandes caem abaixo do acaso em tentativas incongruentes (indicando processamento real do conflito e interferência), enquanto modelos menores operam ao nível do acaso (falhando em engajar-se com a tarefa). Isso sugere que o aumento de escala permite um processamento mais profundo que expõe o modelo à interferência, similar ao que ocorre em humanos com tempos de processamento curtos.

4. Resultados Chave

• Efeito de Congruência: A acurácia média caiu de 0,852 (congruente) para 0,567 (incongruente) em tarefas não quadradas, e de 0,634 para 0,297 em tarefas quadradas (alto conflito).
• Preferência de Modalidade: Em tarefas Stroop-Object, 74,5% dos modelos mostraram uma forte preferência por processamento baseado em texto (OCR) em detrimento da identificação visual do objeto, indicando um viés arquitetural ou de treinamento.
• Relação Demanda-Recurso (O "Dip" Abaixo do Acaso):
  • Modelos Pequenos: Desempenham ao acaso em tarefas de alto conflito, indicando incapacidade de engajar mecanismos de controle.
  • Modelos Grandes: Desempenham bem em condições congruentes, mas caem abaixo do acaso em condições incongruentes de alto conflito.
  • Significado: Essa queda abaixo do acaso é um sinal crítico de que o modelo está realmente processando o conflito e sofrendo interferência, em vez de apenas usar atalhos superficiais. A curva de desempenho em função do log do número de parâmetros aproxima-se da função de tempo de processamento humano em paradigmas de resposta forçada.

5. Significado e Implicações

• Emergência de Controle Cognitivo: O estudo sugere que o controle cognitivo humanoide pode emergir naturalmente da dinâmica de otimização em redes neurais de grande escala, sem a necessidade de arquiteturas de controle "top-down" especializadas ou módulos manuais (como em arquiteturas simbólicas antigas).
• Escalabilidade como Solução: A capacidade de lidar com sinais conflitantes e ambíguos, essencial para a Inteligência Artificial Geral (AGI) em cenários do mundo real, pode surgir simplesmente através do scaling (aumento de tamanho e dados).
• Segurança e Robustez: A compreensão de como os modelos lidam com conflitos é vital para aplicações de segurança crítica. O fato de modelos maiores exibirem interferência genuína sugere que eles estão "pensando" sobre o conflito, o que é um passo em direção a uma tomada de decisão mais robusta, embora ainda não perfeita (já que modelos grandes ainda não atingem 100% de resolução em conflitos extremos).

Em resumo, o artigo demonstra que, ao aumentar os recursos computacionais (escala), os VLMs não apenas melhoram em tarefas simples, mas desenvolvem mecanismos de controle cognitivo que mimetizam a complexa dinâmica de resolução de conflitos observada na cognição humana.