Can VLMs Reason Robustly? A Neuro-Symbolic Investigation

Este artigo propõe o VLC, um método neuro-simbólico que combina reconhecimento de conceitos baseado em VLMs com raciocínio simbólico baseado em circuitos para garantir um raciocínio visual dedutivo robusto sob mudanças de distribuição, superando as limitações de generalização de modelos treinados de forma end-to-end e de abordagens neuro-simbólicas anteriores.

O essencial

Imagine que você tem um super-herói chamado VLM (Modelo de Visão e Linguagem). Ele é incrivelmente inteligente: consegue olhar para uma foto e descrever o que vê, ler textos em imagens e até responder perguntas complexas. Ele é como um estudante brilhante que decorou milhões de livros e fotos.

No entanto, os pesquisadores deste artigo descobriram um problema: quando as coisas mudam um pouco (por exemplo, aparecem mais objetos na foto do que ele estava acostumado), esse super-herói trava. Ele tenta "adivinhar" a resposta baseada no que viu antes, em vez de realmente pensar e usar a lógica. É como se ele tivesse memorizado a resposta de um teste, mas não entendesse a matéria. Se o professor mudar o número de questões, ele se perde.

O artigo investiga: "Será que podemos ensinar esse super-herói a raciocinar de verdade, e não apenas a decorar?"

Aqui está a explicação simples do que eles fizeram, usando analogias do dia a dia:

1. O Problema: O Aluno que Decora, mas não Entende

Os pesquisadores testaram o VLM em tarefas de "raciocínio dedutivo visual".

• A Tarefa: Imagine uma imagem com vários números escritos à mão. A regra é: "Some todos esses números".
• O Cenário: Eles treinaram o modelo com imagens que tinham 3 números. O modelo ficou ótimo nisso (99% de acerto).
• O Teste: Depois, mostraram imagens com 5 ou 7 números (uma mudança na distribuição).
• O Resultado: O modelo falhou miseravelmente. Ele não aprendeu a regra de somar; ele apenas aprendeu a padrão de ver 3 números. Quando o número de objetos mudou, ele não soube o que fazer.

Isso acontece porque os modelos atuais são treinados de ponta a ponta (como um cérebro único que tenta fazer tudo de uma vez), e eles tendem a "pular" a lógica para ir direto para a resposta baseada em estatísticas.

2. A Solução: A Dupla Dinâmica (VLC)

Os autores propuseram uma nova abordagem chamada VLC. Em vez de confiar em um único cérebro gigante, eles criaram uma dupla dinâmica que separa o trabalho em duas etapas claras:

Etapa 1: O "Olho" (Reconhecimento de Conceitos)

• Quem faz: O VLM (o super-herói).
• O que faz: Ele olha para a imagem e diz: "Vejo um número 6, um número 4 e um número 0".
• Analogia: É como um tradutor ou um secretário que olha para a foto e anota os dados brutos em um papel. Ele é ótimo em "ver" coisas, mesmo que não saiba o que fazer com elas.

Etapa 2: O "Cérebro Lógico" (Raciocínio Simbólico)

• Quem faz: Um Circuito Simbólico (um programa de computador rígido e lógico).
• O que faz: Ele pega os dados anotados pelo "Olho" (6, 4, 0) e aplica a regra matemática exata que foi programada nele (neste caso, a soma).
• Analogia: É como uma calculadora ou uma fórmula de receita. Se você colocar os ingredientes certos na calculadora, ela sempre dará o resultado certo, não importa se são 3 ingredientes ou 100. Ela não "acha", ela calcula.

3. Por que isso é melhor?

O grande segredo do VLC é que ele não tenta aprender a lógica. Ele recebe a lógica pronta.

• Os modelos antigos tentavam aprender a soma olhando para as fotos.
• O VLC recebe a foto, o "Olho" identifica os números, e a "Calculadora" faz a soma.

Resultado:
Quando os pesquisadores testaram o VLC com imagens que tinham mais números (o que os outros modelos falharam), o VLC continuou acertando quase 100% das vezes. Por quê? Porque a "Calculadora" (o circuito) não se importa se há 3 ou 7 números; ela apenas segue a regra de somar.

4. O Que Eles Descobriram (Lições Importantes)

• Tamanho não é tudo: Eles aumentaram o tamanho do modelo (de 3 bilhões para 32 bilhões de parâmetros). O modelo ficou melhor em ver (reconhecer os números), mas não ficou melhor em raciocinar. Um cérebro gigante ainda pode ser burro se não tiver a lógica correta.
• Modelos "Caixa Preta" falham: Eles testaram outras técnicas que usam Inteligência Artificial para "inventar" o raciocínio (como pedir para um chatbot escrever um código). Isso funcionou às vezes, mas falhou muito quando a tarefa era difícil, porque o chatbot podia inventar um código errado. O VLC, por usar regras fixas, nunca inventa nada errado.

Resumo Final

Imagine que você precisa resolver um problema de matemática complexo.

• O jeito antigo (VLM puro): É como tentar resolver a conta de cabeça, decorando exemplos passados. Se o problema mudar um pouco, você erra.
• O jeito novo (VLC): É como usar uma calculadora. Você usa seus olhos para ler os números (o VLM) e joga na calculadora (o circuito simbólico). A calculadora garante que a conta será feita corretamente, não importa o tamanho dos números.

Conclusão: Para que as máquinas raciocinem de forma robusta e confiável, precisamos parar de tentar ensinar tudo para um único cérebro e começar a separar a visão da lógica, usando ferramentas especializadas para cada parte.

Resumo técnico

Título: Os Modelos Visão-Linguagem (VLMs) Podem Raciocinar de Forma Robusta? Uma Investigação Neuro-Simbólica

1. O Problema

Os Modelos Visão-Linguagem (VLMs) têm sido aplicados com sucesso em diversas tarefas de raciocínio. No entanto, permanece uma incógnita crítica: eles conseguem raciocinar de forma robusta sob deslocamentos de distribuição (distribution shifts)?

O artigo foca especificamente em deslocamentos de covariância (covariate shifts), onde a distribuição das entradas perceptuais (imagens) muda (ex: número de objetos na imagem), mas as regras subjacentes para a predição permanecem as mesmas.

• Hipótese de trabalho: Os VLMs ajustados por fine-tuning end-to-end (aprendizado de ponta a ponta) podem alcançar alta precisão nos dados de treinamento (in-distribution), mas falham em generalizar para dados fora da distribuição (out-of-distribution - OOD) que seguem a mesma função lógica, mas com complexidade perceptual diferente.
• Limitação atual: Mesmo abordagens neuro-simbólicas recentes que tentam desacoplar percepção e raciocínio (como Prism e ViperGPT) mostram robustez inconsistente, pois dependem de componentes de "caixa preta" (LLMs) para a etapa de raciocínio.

2. Metodologia

A. Tarefas de Raciocínio Dedutivo Visual
Os autores utilizam um conjunto de benchmarks (rsbench) para criar tarefas onde as regras são explicitamente fornecidas. Diferente de benchmarks clássicos, aqui o modelo recebe a imagem, as regras lógicas (em linguagem natural e simbólica) e deve responder a uma consulta. Três tarefas principais foram testadas:

1. MNAdd: Soma aritmética de números escritos à mão (baseado em MNIST).
2. MNLogic: Cálculo do XOR lógico de uma sequência de dígitos binários.
3. KandLogic: Verificação relacional de se todos os objetos com a mesma forma possuem a mesma cor.

Para testar a robustez, os conjuntos de dados variam apenas no número de objetos por imagem (3, 5 e 7 objetos), mantendo a mesma função de raciocínio.

B. A Abordagem Proposta: VLC (Vision-Language Circuit)
O artigo propõe o VLC, um paradigma neuro-simbólico que desacopla estritamente a percepção do raciocínio em duas fases sequenciais:

1. Fase I: Reconhecimento de Conceitos Baseado em VLM (Percepção):

   • Um VLM (ex: Qwen2.5-VL) é usado exclusivamente para identificar os conceitos dos objetos na imagem (ex: dígitos, cores, formas).
   • Utiliza in-context learning (poucos exemplos) para garantir consistência no formato de saída.
   • O resultado é extraído e convertido em valores binários/discretos.

2. Fase II: Raciocínio Simbólico Baseado em Circuitos:

   • As regras da tarefa são compiladas em um programa simbólico, especificamente um Circuito de Decisão Sentencial (SDD - Sentential Decision Diagram).
   • O circuito executa as regras lógicas exatamente sobre as entradas discretas fornecidas pelo VLM.
   • Não há fine-tuning global ou retropropagação através do circuito; ele atua como um mapeador determinístico.

Contraste com Baselines:

• End-to-End (FT): VLM ajustado para prever a resposta final diretamente.
• Prism: VLM para percepção + LLM (caixa preta) para raciocínio.
• ViperGPT: Geração de código por LLM para orquestrar modelos pré-treinados.

3. Principais Contribuições

1. Proposta do VLC: Um método neuro-simbólico que integra reconhecimento de conceitos via VLM com raciocínio simbólico exato via circuitos, eliminando a ambiguidade do raciocínio estatístico.
2. Evidência Empírica de Falha no Fine-tuning: Demonstração de que o fine-tuning baseado em gradiente em VLMs não aprende a função de raciocínio subjacente, falhando drasticamente em cenários OOD (deslocamento de covariância).
3. Inconsistência de Abordagens Híbridas Atuais: Mostrou-se que métodos como Prism e ViperGPT, que dependem de LLMs ou geradores de código como caixas pretas, não garantem robustez, pois erros de raciocínio ou de modelos intermediários propagam falhas.
4. Análise de Escala (Scaling):
   • Aumentar o tamanho do modelo VLM melhora a reconhecimento de conceitos, mas não necessariamente a capacidade de raciocínio em tarefas complexas.
   • Aumentar o tamanho do LLM em abordagens como Prism melhora o desempenho em algumas tarefas, mas falha em outras (ex: lógica XOR), indicando limites na capacidade de raciocínio puramente estatístico.

4. Resultados Experimentais

• Desempenho sob Deslocamento de Covariância:

  • Os modelos fine-tuned end-to-end alcançaram alta precisão nos dados de treinamento (3 objetos), mas colapsaram nos dados de teste com mais objetos (5 e 7 objetos), atingindo precisão próxima ao acaso ou pior que modelos pré-treinados.
  • O VLC manteve desempenho robusto e consistente em todas as tarefas e tamanhos de entrada, superando significativamente todas as outras abordagens.
  • Em média, o VLC aumentou a precisão de ~39% para ~68-82% nos conjuntos de dados OOD, dependendo da tarefa.

• Relação entre Precisão de Conceitos e Tarefa:

  • No VLC, a precisão da tarefa segue quase perfeitamente a precisão do reconhecimento de conceitos do VLM. Isso confirma que o gargalo é a percepção, e não o raciocínio (que é garantido pelo circuito).
  • No Prism, há uma grande lacuna entre a precisão de conceitos e a tarefa, indicando que o LLM falha em raciocinar corretamente mesmo quando os conceitos são corretos.

• Ablação e Escala:

  • Fine-tuning focado apenas no reconhecimento de conceitos (e não no raciocínio) melhorou drasticamente o desempenho do VLC em dados OOD.
  • Escalar o tamanho do VLM (de 3B a 32B) melhorou a precisão de conceitos, mas não garantiu melhorias no raciocínio end-to-end.

5. Significado e Conclusão

O artigo conclui que VLMs puramente baseados em aprendizado estatístico (end-to-end) não são robustos para raciocínio dedutivo sob deslocamentos de distribuição, pois tendem a memorizar padrões estatísticos superficiais em vez de aprender a função lógica subjacente.

A solução proposta, VLC, demonstra que a decoplagem explícita entre percepção (VLM) e raciocínio (Circuito Simbólico) é essencial para a robustez. Ao codificar a função de raciocínio em um programa simbólico executável, o sistema torna-se:

1. Interpretable: O raciocínio segue regras lógicas explícitas.
2. Robusto: Generaliza perfeitamente para novos cenários perceptuais, desde que os conceitos sejam reconhecidos corretamente.
3. Confiável: Elimina a incerteza inerente aos modelos de caixa preta na etapa de inferência lógica.

Limitações e Futuro: O método atual ainda depende da disponibilidade de regras simbólicas (que na prática podem vir em linguagem natural) e da precisão do VLM na percepção. Trabalhos futuros devem focar na extração automática de regras a partir de linguagem natural e na criação de módulos simbólicos mais flexíveis que suportem múltiplas funções de raciocínio.