Resumen Técnico: Bongards en el Límite de la Percepción y el Razonamiento: ¿Programas o Lenguaje?

Definición del Problema

El artículo aborda el desafío de resolver los Problemas de Bongard (BPs), un conjunto clásico de 100 acertijos de razonamiento visual de pocos disparos (few-shot) introducidos en 1970. Cada problema consta de 12 imágenes: seis que representan un concepto "positivo" y seis que representan un concepto "negativo". A diferencia de tareas como las Matrices Progresivas de Raven, que dependen de secuencias lógicas fijas, los BPs requieren que el resolutor perciba características visuales novedosas sobre la marcha y defina fluidamente nuevos primitivos perceptivos para distinguir entre las dos categorías. La dificultad central reside en la frontera entre la percepción (identificar características como "cuello", "concavidad" o "circularidad") y el razonamiento (formular una regla que separe las clases). Aunque los Modelos de Visión y Lenguaje (VLMs) sobresalen en tareas visuales cotidianas, tienen dificultades con la generalización radical que requieren los BPs, fallando a menudo al sintetizar las reglas geométricas o conceptuales precisas necesarias para una solución.

Metodología

Los autores proponen un enfoque neurosimbólico que combina el razonamiento conceptual de alto nivel de los Modelos de Lenguaje de Gran Escala (LLMs) con la precisión de la ejecución programática. El sistema opera a través de dos tareas primarias: Verificación (clasificar una imagen no incluida en el entrenamiento dada una regla de verdad fundamental) y Solución (generar la regla desde cero).

Arquitectura del Sistema

El sistema consta de dos componentes principales: un Generador de Hipótesis y un Verificador.

1. Generador de Hipótesis:

   • Utiliza un VLM para generar reglas candidatas en lenguaje natural.
   • Para mejorar la diversidad y la relevancia, el generador utiliza Generación Aumentada por Recuperación (RAG). Selecciona reglas basadas en ejemplos de contexto extraídos de problemas de Bongard anteriores (aprovechando el currículo natural del conjunto de datos) y problemas aleatorios.
   • Para la tarea de Solución, el generador produce múltiples reglas candidatas; para la tarea de Verificación, toma la regla de verdad fundamental como entrada.

2. Verificador:

   • El verificador evalúa las reglas candidatas utilizando una estrategia híbrida que alterna entre la Inducción de Programas y la Transducción (Cadena de Pensamiento - CoT).
   • Inducción de Programas: Para una regla dada, el VLM intenta sintetizar un programa de Python parametrizado (específicamente un método classify_image) que implemente la regla.
     • Programas Parametrizados: Reconociendo que los umbrales numéricos exactos (por ejemplo, definir "alargado" frente a "compacto") son difíciles de adivinar para los LLMs, el sistema trata ciertos valores como parámetros.
     • Optimización Bayesiana: El sistema realiza 15 pasos de optimización bayesiana para encontrar los valores de los parámetros que maximizan la precisión del programa en los ejemplos de entrenamiento.
     • Calificación: Un programa se acepta si alcanza una puntuación $\ge 0.9$ en el conjunto de entrenamiento. Si múltiples programas tienen éxito, la etiqueta mayoritaria en la imagen de prueba determina la salida.
   • Transducción (CoT): Si ningún programa alcanza la puntuación requerida, el verificador recurre a un enfoque de Cadena de Pensamiento, instando al VLM a clasificar directamente la imagen de prueba basándose en los ejemplos de entrenamiento y la regla propuesta.

Configuración Experimental

• Modelos: El estudio evalúa GPT-4o y Claude 3.7 Sonnet.
• Tareas:
  • Verificación: Clasificar imágenes dada la regla de verdad fundamental.
  • Solución: Generar la regla de lenguaje natural correcta para todo el conjunto de problemas.
  • Inversión: Una tarea de control donde se intercambian los ejemplos positivos y negativos para probar la memorización.
• Líneas Base (Baselines): El rendimiento se compara con VLMs base (sin síntesis de programas) y datos de rendimiento humano previos (Wüst et al., 2025).

Contribuciones Clave

1. Evaluación de los VLMs de Vanguardia: El artículo proporciona un banco de pruebas riguroso para GPT-4o y Claude 3.7 en los Problemas de Bongard, distinguiendo entre su capacidad para verificar reglas y generarlas desde cero.
2. Modelo Neurosimbólico Híbrido: Los autores introducen un modelo novedoso que sintetiza programas parametrizados junto con el razonamiento en lenguaje natural. Este enfoque aprovecha la capacidad del VLM para generar conceptos de alto nivel y la capacidad del programa para realizar cálculos geométricos exactos y el ajuste de parámetros.
3. Comparación Humano-Modelo: El estudio analiza datos humanos para comparar las fortalezas y debilidades de los VLMs y el modelo híbrido propuesto frente al comportamiento humano, identificando categorías específicas donde los modelos tienen éxito o fallan en relación con los humanos.

Resultados

• Rendimiento de Verificación:
  • Claude 3.7 demostró un sólido rendimiento, logrando una precisión del 86.5% al combinar la verificación programática y el razonamiento CoT.
  • El enfoque híbrido ("+ ambos") superó al uso de programas solos o CoT solo, particularmente en las categorías Espacial y de Concepto. La verificación programática destacó en problemas espaciales y de similitud, mientras que el CoT fue superior para problemas conceptuales de alto nivel y basados en números.
  • GPT-4o mostró una brecha mayor entre el rendimiento programático y el de CoT, siendo el CoT generalmente superior a la síntesis de programas, lo que sugiere que la efectividad del enfoque híbrido depende de las capacidades de generación de código del modelo subycente.
• Rendimiento de Solución:
  • El sistema completo utilizando Claude 3.7 como generador de hipótesis resolvió 51 de los 100 problemas.
  • Este resultado supera el rendimiento humano promedio reportado por Wüst et al. (2025), que fue de aproximadamente 47 soluciones correctas.
  • GPT-4o resolvió 31 problemas con el método híbrido, una mejora sobre su línea base pero aún por debajo de los promedios humanos.
• Comprobación de Memorización: La tarea de "Inversión" mostró que intercambiar las etiquetas positivas y negativas tuvo poco impacto en el rendimiento del modelo, lo que sugiere que los modelos no están simplemente memorizando soluciones de problemas específicos, sino que están realizando un razonamiento genuino.

Significado y Reivindicaciones

El artículo sostiene que combinar el lenguaje natural y los programas formales permite a los sistemas de IA razonar con mayor precisión sobre conceptos visuales que cualquiera de los dos medios por separado. Al generar conceptos en lenguaje e implementarlos en código, el sistema cierra la brecha entre la "percepción" (identificación de características) y el "razonamiento" (aplicación de lógica) requeridos por los Problemas de Bongard.

Los autores afirman que su sistema, según su conocimiento, ha superado por primera vez la precisión humana promedio en los Problemas de Bongard. Plantean esto no como una solución final al razonamiento visual general, sino como un paso hacia sistemas de IA que puedan "adquirir y utilizar nuevos conceptos perceptivos de manera similar a los humanos". El trabajo destaca que, si bien los VLMs poseen un vasto conocimiento de preentrenamiento, requieren la precisión de la ejecución programática para manejar los matices geométricos y paramétricos de los acertijos visuales abstractos. El estudio concluye que la naturaleza complementaria de la inducción (síntesis de programas) y la transducción (CoT) es esencial para abordar tareas difíciles de aprendizaje de conceptos en el límite de la percepción y el razonamiento.