Resumen Técnico: ZendoWorld: Desafiando a los Agentes de IA en la Inducción Visual Activa de Conceptos

Declaración del Problema

El desafío central abordado por este trabajo es la capacidad de los agentes inteligentes para percibir conjuntamente entradas visuales complejas, formar hipótesis sobre patrones lógicos ocultos y diseñar experimentos informativos para probar dichas hipótesis. Si bien los avances recientes en IA se han centrado en el razonamiento inductivo a partir de ejemplos de pocos disparos (few-shot) (por ejemplo, ARC-AGI, problemas de Bongard) e inducción activa en dominios simbólicos, los benchmarks existentes tratan mayoritariamente la inducción como una tarea pasiva y de un solo paso, o dependen de abstracciones simbólicas limpias que carecen de la complejidad de la fundamentación visual (visual grounding). Existe una brecha crítica en la evaluación de agentes que deben operar dentro de un bucle cerrado de percepción (interpretar imágenes puras), inducción (inferir reglas ocultas) y experimentación (proponer nuevos puntos de datos para reducir la incertidumbre) dentro de un entorno visual realista.

Metodología: ZendoWorld

Los autores presentan ZendoWorld, un benchmark interactivo controlado inspirado en el juego de lógica inductiva Zendo. Integra percepción, inducción y experimentación en un único bucle de evaluación.

Entorno y Configuración del Juego

• Entrada Visual: Las escenas consisten en 1 a 7 objetos geométricos de colores (bloques, cuñas, pirámides) con atributos específicos (color, forma, orientación) y relaciones espaciales (tocándose, apilados, apuntando). Las imágenes se generan proceduralmente mediante una canalización Blender–Prolog, lo que produce un espacio combinatorio de $\approx 10^{18}$ configuraciones.
• Regla Oculta: Cada episodio está definido por una regla de verdad latente $r^*$ extraída de un Lenguaje de Dominio Específico (DSL) basado en Prolog. Las reglas varían desde de Primer Orden (contar atributos individuales) hasta de Segundo Orden (paridad, comparaciones) y Composicionales (relaciones espaciales + lógica).
• Bucle de Interacción:
  1. Inicialización: El agente recibe un ejemplo semilla positivo y uno negativo.
  2. Experimentación: El agente propone una nueva escena (especificación estructurada) y predice su etiqueta. El entorno devuelve la etiqueta de verdad absoluta.
  3. Inducción de Hipótesis: Si la predicción es correcta, el contraejemplo es enviado. Si es correcta, el agente puede presentar una hipótesis de regla. Si es correcta, el juego termina; si es incorrecta, se revela un contraejemplo y el agente regresa a la fase de experimentación.
  4. Terminación: El episodio finaliza tras la identificación correcta de la regla o al agotar un presupuesto de 30 ejemplos.

Agentes Evaluados

El estudio evalúa cuatro arquitecturas de agentes distintas para aislar los cuellos de botella en percepción, inducción y experimentación:

1. Agente Oráculo (Límite Superior Neuro-Simbólico): Utiliza un modelo de visión preentrenado para una percepción perfecta y un sintetizador de programas (DeepSynth) sobre el DSL completo. Emplea una selección de experimentos heurística para la máxima desambiguación.
2. Agente VLM (Red Neuronal de Extremo a Extremo): Un Modelo de Lenguaje-Visión (GPT-5-mini) que opera sin acceso al DSL ni búsqueda explícita de hipótesis. Depende del prompting tanto para la inducción de reglas como para la selección de experimentos.
3. Agente Bayesiano (LLM-SMC): Utiliza un LLM para proponer hipótesis en lenguaje natural y mantiene una posterior basada en partículas mediante el Método de Monte Carlo Secuencial (SMC) para guiar la selección de experimentos.
4. Agente de Programas de Visión-Lenguaje (VLP): Combina la extracción de conceptos basada en VLM (aprendizaje de vocabularios de objetos/propiedades a partir de imágenes) con la síntesis de programas sobre un DSL general.

Protocolo de Evaluación

• Métricas: Tasa de éxito (win rate) (equivalencia lógica con $r^*$), turnos promedio, precisión de la etiqueta, puntuación F1 estructural de las hipótesis intermedias y Ganancia de Información Esperada (EIG) de los experimentos propuestos.
• Línea Base Humana: Un estudio con 19 participantes jugando el mismo protocolo para comparar las capacidades de razonamiento inductivo humano.
• Ablaciones: Se realizaron experimentos en un entorno de entrada simbólica (reemplazando imágenes con descripciones de Prolog) para desentrañar los fallos de percepción de los fallos de inducción.

Resultados Clave

1. La Precisión de la Etiqueta No Implica la Recuperación de la Regla

Un hallazgo principal es que una alta precisión en la predicción de etiquetas para ejemplos observados no garantiza la recuperación de la regla subyacente. El Agente Bayesiano logró la mayor precisión de etiqueta (75.2%) entre los agentes no oráculos, pero resolvió solo el 13.6% de los juegos. Por el contrario, el Agente VLM resolvió el 44.5% de los juegos pero con una menor precisión de etiqueta (56.7%). Esta disociación sugiere que la clasificación correcta puede lograrse mediante el reconocimiento de patrones sin comprender la regla generativa.

2. Percepción e Inducción son Cuellos de Botella Distintos

• Percepción: Eliminar la entrada visual (entorno simbólico) mejoró significamente el rendimiento del Agente VLP (la tasa de éxito aumentó un 166.5%), indicando que la percepción es un cuello de botella importante para esta arquitectura.
• Inducción: En el entorno simbólico, los agentes VLM y Bayesiano mostraron mejoras más modestas, sugiriendo que sus principales modos de fallo residen en la formulación y revisión de hipótesis más que en la percepción visual.
• Complejidad: Las brechas de rendimiento se ampliaron con la complejidad de la regla. Los agentes VLM resolvieron el 67.5% de los juegos de Primer Orden, pero cayeron a ~30% en reglas de Segundo Orden y Complejas. Los humanos mantuvieron una tasa de éxito superior al 50% en todas las complejidades.

3. Los Agentes VLM Fallan en la Experimentación Activa

Los agentes basados en VLM propusieron consistentemente experimentos casi carentes de información, exhibiendo una Ganancia de Información Esperada (EIG) cercana a cero tras aproximadamente 10 ejemplos. Tendieron a generar escenas similares a las observaciones previas en lugar de sondear activamente el espacio de hipótesis para reducir la incertiderto. En contraste, el Agente Oráculo maximizó la EIG seleccionando experimentos que mejor discriminaban entre hipótesis competidoras.

4. Comparación Humano vs. IA

Los humanos superaron a todos los agentes de IA en éxito de extremo a extremo (tasa de éxito del 73.3% frente al 44.5% del mejor agente de IA). Aunque los humanos y los agentes VLM compartieron patrones de error superficiales en reglas simples, los humanos demostraron una mayor estabilidad en las trayectorias de las reglas y lograron recuperar reglas complejas y Fuera de Distribución (OOD) donde ningún agente visual tuvo éxito. Notablemente, 7 de cada 10 participantes humanos resolvieron una tarea OOD (que requería lógica fuera del DSL), mientras que ningún agente tuvo éxito con entradas visuales.

Significado y Reivindicaciones

El artículo sostiene que ZendoWorld representa un paso crítico hacia la evaluación de agentes inteligentes al aislar la interacción entre percepción, inducción y experimentación activa. Los autores argumentan que los métodos actuales están altamente especializados: algunos sobresalen en etiquetado, otros en búsqueda estructurada, pero ninguno resuelve de manera fiable el bucle interactivo completo sin conocimiento previo del espacio de reglas.

El trabajo identifica vías concretas de mejora, particularmente para dominios como el descubrimiento científico:

• Integración Arquitectónica: La separación estricta entre percepción y razonamiento (como se ve en el Agente Oráculo modular) puede ser insuficiente. Los autores sugieren que el pensamiento conceptual humano implica una constitución mutua de percepción y razonamiento, donde las hipótesis dirigen la atención visual.
• Búsqueda Activa: Los sistemas futuros requieren arquitecturas que combinen la fundamentación visual con hipótesis estructuradas y falsables, así como estrategias de búsqueda activa que prioricen la ganancia de información sobre la mera consistencia con los datos pasados.
• Cambio en la Evaluación: Los resultados sugieren que evaluar sistemas de razonamiento inductivo basándose únicamente en el etiquetado de ejemplos es insuficiente; las métricas deben dar cuenta de la capacidad de generar experimentos informativos y recuperar las reglas generativas subyacentes.

Los autores concluyen que cerrar la brecha entre las capacidades actuales de la IA y el aprendizaje de reglas visuales activas de nivel humano requiere ir más allá del razonamiento pasivo y los módulos de percepción fijos, hacia sistemas capaces de pruebas de hipótesis iterativas y atención dinámica de características.