Resumo Técnico: Bongards na Fronteira da Percepção e do Raciocínio: Programas ou Linguagem?

Definição do Problema

O artigo aborda o desafio de resolver os Problemas de Bongard (BPs), um conjunto clássico de 100 quebra-cabeças de raciocínio visual de poucos disparos (few-shot) introduzidos em 1970. Cada problema consiste em 12 imagens: seis representando um conceito "positivo" e seis representando um conceito "negativo". Diferente de tarefas como as Matrizes Progressivas de Raven, que dependem de sequências lógicas fixas, os BPs exigem que o solucionador perceba características visuais inéditas de forma imediata e defina novos primitivos perceptivos de maneira fluida para distinguir entre as duas categorias. A dificuldade central reside na fronteira entre a percepção (identificar características como "pescoço", "concavidade" ou "circularidade") e o raciocínio (formular uma regra que separe as classes). Embora os Modelos de Visão-Linguagem (VLMs) se destaquem em tarefas visuais cotidianas, eles têm dificuldade com a generalização radical exigida pelos BPs, frequentemente falhando em sintetizar as regras geométricas ou conceituais precisas necessárias para uma solução.

Metodologia

Os autores propõem uma abordagem neurosimbólica que combina o raciocínio conceitual de alto nível de Grandes Modelos de Linguagem (LLMs) com a precisão da execução programática. O sistema opera através de duas tarefas principais: Verificação (classificar uma imagem não utilizada dado uma regra de verdade fundamental) e Solução (gerar a regra do zero).

Arquitetura do Sistema

O sistema compreende dois componentes principais: um Gerador de Hipóteses e um Verificador.

1. Gerador de Hipóteses:

   • Utiliza um VLM para gerar candidatas de regras em linguagem natural.
   • Para melhorar a diversidade e a relevância, o gerador utiliza Geração Aumentada por Recuperação (RAG). Ele amostra regras baseadas em exemplos de contexto extraídos de problemas de Bongard anteriores (aproveitando o currículo natural do conjunto de dados) e problemas aleatórios.
   • Para a tarefa de Solução, o gerador produz múltiplas regras candidatas; para a tarefa de Verificação, ele recebe a regra de verdade fundamental como entrada.

2. Verificador:

   • O verificador avalia as regras candidatas usando uma estratégia híbrida que alterna entre Indução de Programas e Transdução (Cadeia de Pensamento - CoT).
   • Indução de Programas: Para uma determinada regra, o VLM tenta sintetizar um programa Python parametrizado (especificamente um método classify_image) que implementa a regra.
     • Programas Parametrizados: Reconhecendo que limiares numéricos exatos (por exemplo, definir "alongado" vs. "compacto") são difíceis de serem adivinhados pelos LLMs, o sistema trata certos valores como parâmetros.
     • Otimização Bayesiana: O sistema realiza 15 etapas de otimização bayesiana para encontrar os valores dos parâmetros que maximizam a precisão do programa nos exemplos de treinamento.
     • Pontuação: Um programa é aceito se atingir uma pontuação $\ge 0,9$ no conjunto de treinamento. Se múltiplos programas tiverem sucesso, o rótulo da maioria na imagem de teste determina a saída.
   • Transdução (CoT): Se nenhum programa atingir a pontuação necessária, o verificador recorre a uma abordagem de Cadeia de Pensamento (CoT), instigando o VLM a classificar diretamente a imagem de teste com base nos exemplos de treinamento e na regra proposta.

Configuração Experimental

• Modelos: O estudo avalia o GPT-4o e o Claude 3.7 Sonnet.
• Tarefas:
  • Verificação: Classificar imagens dada a regra de verdade fundamental.
  • Solução: Gerar a regra de linguagem natural correta para todo o conjunto de problemas.
  • Inversão: Uma tarefa de controle onde os exemplos positivos e negativos são trocados para testar a memorização.
• Linhas de Base (Baselines): O desempenho é comparado contra VLMs base (sem síntese de programa) e dados de desempenho humano anteriores (Wüst et al., 2025).

Principais Contribuições

1. Avaliação de VLMs de Estado da Arte: O artigo fornece um benchmark rigoroso do GPT-4o e Claude 3.7 nos Problemas de Bongard, distinguindo entre sua capacidade de verificar regras e gerá-las do zero.
2. Modelo Neurosimbólico Híbrido: Os autores introduzem um modelo inovador que sintetiza programas parametrizados juntamente com o raciocínio em linguagem natural. Esta abordagem aproveita a capacidade do VLM de gerar conceitos de alto nível e a capacidade do programa de realizar cálculos geométricos exatos e ajuste de parâmetros.
3. Comparação Humano-Modelo: O estudo analisa dados humanos para comparar as forças e fraquezas dos VLMs e do modelo híbrido proposto em relação ao comportamento humano, identificando categorias específicas onde os modelos têm sucesso ou falham em relação aos humanos.

Resultados

• Desempenho de Verificação:
  • O Claude 3.7 demonstrou um forte desempenho, alcançando uma precisão de 86,5% ao combinar a verificação programática e o raciocínio CoT.
  • A abordagem híbrida ("+ ambos") superou o uso de apenas programas ou apenas CoT, particularmente nas categorias Espacial e de Conceito. A verificação programática destacou-se em problemas espaciais e de similaridade, enquanto o CoT foi superior para problemas conceituais de alto nível e baseados em números.
  • O GPT-4o mostrou uma lacuna maior entre o desempenho programático e o CoT, com o CoT geralmente superando a síntese de programas, sugerindo que a eficácia da abordagem híbrida depende das capacidades de geração de código do modelo subjacente.
• Desempenho de Solução:
  • O sistema completo utilizando o Claude 3.7 como o gerador de hipóteses resolveu 51 dos 100 problemas.
  • Este resultado excede o desempenho humano médio relatado por Wüst et al. (2025), que foi de aproximadamente 47 soluções corretas.
  • O GPT-4o resolveu 31 problemas com o método híbrido, uma melhoria em relação ao seu baseline, mas ainda abaixo das médias humanas.
• Teste de Memorização: A tarefa de "Inversão" mostrou que a troca de rótulos positivos e negativos teve pouco impacto no desempenho do modelo, sugerindo que os modelos não estão simplesmente memorizando soluções específicas de problemas, mas sim engajando-se em um raciocínio genuíno.

Significância e Alegações

O artigo afirma que combinar linguagem natural e programas formais permite que sistemas de IA raciocinem sobre conceitos visuais de forma mais precisa do que qualquer um dos meios isoladamente. Ao gerar conceitos em linguagem e implementá-los em código, o sistema preenche a lacuna entre a "percepção" (identificação de características) e o "raciocínio" (aplicação de lógica) exigidos pelos Problemas de Bongard.

Os autores afirmam que o seu sistema, pela primeira vez que têm conhecimento, excedeu a precisão humana média nos Problemas de Bongard. Eles enquadram isso não como uma solução final para o raciocínio visual geral, mas como um passo em direção a sistemas de IA que podem "adquirir e usar novos conceitos perceptivos de maneira semelhante à humana". O trabalho destaca que, embora os VLMs possuam vasto conhecimento de pré-treinamento, eles requerem a precisão da execução programática para lidar com as nuances geométricas e paramétricas de quebra-cabeças visuais abstratos. O estudo conclui que a natureza complementar da indução (síntese de programas) e da transdução (CoT) é essencial para enfrentar tarefas difíceis de aprendizagem de conceitos na fronteira entre a percepção e o raciocínio.