Resumo Técnico: ZendoWorld: Desafiando Agentes de IA na Indução de Conceitos Visuais Ativos

Declaração do Problema

O desafio central abordado por este trabalho é a capacidade de agentes inteligentes perceberem conjuntamente entradas visuais complexas, formularem hipóteses sobre padrões lógicos ocultos e projetarem experimentos informativos para testar essas hipóteses. Embora o progresso recente da IA tenha se concentrado no raciocínio indutivo a partir de poucos exemplos (ex: ARC-AGI, problemas de Bongard) e na experimentação ativa em domínios simbólicos, os benchmarks existentes tratam amplamente a indução como uma tarefa passiva e pontual ou dependem de abstrações simbólicas limpas que carecem da complexidade do aterramento visual. Existe uma lacuna crítica na avaliação de agentes que devem operar dentro de um ciclo fechado de percepção (interpretando imagens brutas), indução (inferindo regras ocultas) e experimentação (propondo novos pontos de dados para reduzir a incerteza) dentro de um ambiente visual realista.

Metodologia: ZendoWorld

Os autores introduzem o ZendoWorld, um benchmark interativo controlado inspirado no jogo de lógica indutiva Zendo. Ele integra percepção, indução e experimentação em um único loop de avaliação.

Ambiente e Configuração do Jogo

• Entrada Visual: As cenas consistem em 1 a 7 objetos geométricos coloridos (blocos, cunhas, pirâmides) com atributos específicos (cor, forma, orientação) e relações espaciais (tocando, empilhados, apontando). As imagens são geradas proceduralmente via um pipeline Blender–Prolog, resultando em um espaço combinatório de $\approx 10^{18}$ configurações.
• Regra Oculta: Cada episódio é definido por uma regra de verdade latente $r^*$ extraída de uma Linguagem de Domínio Específico (DSL) baseada em Prolog. As regras variam de Primeira Ordem (contagem de atributos únicos) para Segunda Ordem (paridade, comparações) e Composicional (relações espaciais + lógica).
• Loop de Interação:
  1. Inicialização: O agente recebe um exemplo positivo e um negativo de semente.
  2. Experimentação: O agente propõe uma nova cena (especificação estruturada) e prevê seu rótulo. O ambiente retorna o rótulo da verdade fundamental.
  3. Indução de Hipótese: Se a previsão estiver correta, o agente pode submeter uma hipótese de regra. Se correta, o jogo termina; se incorreta, um contraexemplo é revelado e o agente retorna à fase de experimentação.
  4. Terminação: O episódio termina após a identificação correta da regra ou o esgotamento de um orçamento de 30 exemplos.

Agentes Avaliados

O estudo avalia quatro arquiteturas distintas de agentes para isolar gargalos em percepção, indução e experimentação:

1. Agente Oráculo (Limite Superior Neuro-Simbólico): Utiliza um modelo de visão pré-treinado para percepção perfeita e um sintetizador de programas (DeepSynth) sobre o DSL completo. Emprega seleção de experimentos heurística para máxima desambiguação.
2. Agente VLM (Extremidade a Extremada Neural): Um Modelo de Linguagem de Visão (GPT-5-mini) operando sem acesso ao DSL ou busca de hipóteses explícita. Depende de prompting tanto para indução de regra quanto para seleção de experimentos.
3. Agente Bayesiano (LLM-SMC): Utiliza um LLM para propor hipóteses em linguagem natural e mantém uma posterior baseada em partículas via Monte Carlo Sequencial (SMC) para guiar a seleção de experimentos.
4. Agente de Programas de Linguagem-Visão (VLP): Combina extração de conceitos baseada em VLM (aprendizado de vocabulários de objetos/propriedades a partir de imagens) com síntese de programas sobre um DSL geral.

Protocolo de Avaliação

• Métricas: Taxa de vitória (equivalência lógica a $r^*$), turnos médios, precisão de rótulo, pontuação F1 estrutural de hipóteses intermediárias e Ganho de Informação Esperada (EIG) dos experimentos propostos.
• Baseline Humano: Um estudo com 19 participantes jogando o mesmo protocolo para comparar as capacidades de raciocínio indutivo humano.
• Ablações: Experimentos foram conduzidos em um cenário de entrada simbólica (substituindo imagens por descrições em Prolog) para desmembrar falhas de percepção de falhas de indução.

Principais Resultados

1. Precisão de Rótulo Não Implica Recuperação de Regra

Um achado primário é que uma alta precisão na previsão de rótulos para exemplos observados não garante a recuperação da regra subjacente. O Agente Bayesiano alcançou a maior precisão de rótulo (75,2%) entre os agentes não-oráculos, mas resolveu apenas 13,6% dos jogos. Por outro lado, o Agente VLM resolveu 44,5% dos jogos, porém com menor precisão de rótulo (56,7%). Essa dissociação sugere que a classificação correta pode ser alcançada através de correspondência de padrões sem a compreensão da regra generativa.

2. Percepção e Indução são Gargalos Distintos

• Percepção: A remoção da entrada visual (cenário simbólico) melhorou significativamente o desempenho do Agente VLP (a taxa de vitória aumentou 166,5%), indicando que a percepção é um gargalo importante para esta arquitetura.
• Indução: No cenário simbólico, os agentes VLM e Bayesiano mostraram ganhos mais modestos, sugerindo que seus principais modos de falha residem na formulação e revisão de hipóteses, e não na percepção visual.
• Complexidade: As lacunas de desempenho ampliaram-se com a complexidade da regra. Os agentes VLM resolveram 67,5% dos jogos de Primeira Ordem, mas caíram para ~30% em regras de Segunda Ordem e Complexas. Humanos mantiveram uma taxa de vitória >50% em todas as complexidades.

3. Agentes VLM Falham na Experimentação Ativa

Agentes baseados em VLM propuseram consistentemente experimentos quase sem informação, exibindo Ganho de Informação Esperada (EIG) próximo de zero após aproximadamente 10 exemplos. Eles tenderam a gerar cenas similares às observações anteriores, em vez de sondar ativamente o espaço de hipóteses para reduzir a incerteza. Em contraste, o Agente Oráculo maximizou o EIG ao selecionar experimentos que melhor discriminavam entre hipóteses concorrentes.

4. Comparação Humano vs. IA

Humanos superaram todos os agentes de IA em sucesso de ponta a ponta (taxa de vitória de 73,3% vs. 44,5% para o melhor agente de IA). Embora humanos e agentes VLM compartilhem padrões de erro superficiais em regras simples, os humanos demonstraram maior estabilidade em trajetórias de regras e recuperaram com sucesso regras complexas e Fora de Distribuição (OOD) onde nenhum agente visual teve sucesso. Notavelmente, 7 de cada 10 participantes humanos resolveram uma tarefa OOD (exigindo lógica fora do DSL), enquanto nenhum agente teve sucesso em entradas visuais.

Significância e Alegações

O artigo afirma que o ZendoWorld representa um passo crítico em direção à avaliação de agentes inteligentes ao isolar a interação entre percepção, indução e experimentação ativa. Os autores argumentam que os métodos atuais são altamente especializados: alguns se destacam em rotulagem, outros em busca estruturada, mas nenhum resolve de forma confiável o loop interativo completo sem conhecimento prévio do espaço da regra.

O trabalho identifica avenidas concretas para melhoria, particularmente para domínios como descoberta científica:

• Integração Arquitetural: A separação estrita entre percepção e raciocínio (como visto no Agente Oráculo modular) pode ser insuficiente. Os autores sugerem que o pensamento conceitual humano envolve uma constituição mútua de percepção e raciocínio, onde as hipóteses direcionam a atenção visual.
• Busca Ativa: Sistemas futuros requerem arquiteturas que combinem aterramento visual com hipóteses estruturadas e falsificáveis, além de estratégias de busca ativa que priorizem o ganho de informação sobre a mera consistência com dados passados.
• Mudança de Avaliação: Os resultados sugerem que avaliar sistemas de raciocínio indutivo baseando-se apenas em rotulagem de exemplos é insuficiente; as métricas devem considerar a capacidade de gerar experimentos informativos e recuperar as regras generativas subjacentes.

Os autores concluem que preencher a lacuna entre as capacidades atuais da IA e o aprendizado de regras visuais ativas de nível humano exige ir além do raciocínio passivo e módulos de percepção fixos, movendo-se em direção a sistemas capazes de teste de hipóteses iterativo e atenção dinâmica de características.