Resumen Técnico: COCOLogic-V2

Planteamiento del Problema

Los modelos de aprendizaje automático interpretables, como los Modelos de Cuello de Botella de Conceptos (CBMs) y los métodos de síntesis de programas neuro-simbólicos, están diseñados para permitir la verificación de las decisiones de los modelos, un requisito crítico en dominios de alto riesgo como la salud y las finanzas. Sin embargo, la evaluación de estos modelos se ha visto históricamente limitada a entornos estrechos: los CBMs suelen evaluarse en clasificación de imágenes de etiqueta única, mientras que la síntesis de programas y los enfoques neuro-simbólicos dependen frecuentemente de tareas sintéticas o el emparejamiento de patrones abstractos en lugar de un razonamiento inductivo complejo sobre datos del mundo real.

Los benchmarks existentes no logran capturar la complejidad del razonamiento inductivo visual. Específicamente, las iteraciones anteriores de los conjuntos de datos de razonamiento (como el COCOLogic original) suelen sufrir de desequilibrio de clases y permiten que los modelos exploten "atajos" (por ejemplo, predecir una clase basándose en un solo objeto como un cuenco) en lugar de aprender las reglas lógicas subyacentes. Además, las métricas de evaluación estándar suelen enmascarar la incapacidad de un modelo para manejar casos límite, ya que se puede lograr una alta precisión general clasificando correctamente muestras fáciles mientras se falla en aquellas que requieren una comprensión precisa de la lógica.

Metodología: El Conjunto de Datos COCOLogic-V2

Para abordar estas limitaciones, los autores presentan COCOLogic-V2, un conjunto de datos centrado en objetos para el razonamiento inductivo visual sobre imágenes del mundo real derivadas de MSCOCO. El conjunto de datos está diseñado para cubrir un amplio subconjunto de la lógica de primer orden, incluyendo la lógica proposicional, el conteo de objetos, la comparación de conteos y la ausencia de objetos.

Características Clave de Diseño

1. Encuadre Multietiqueta: A diferencia de su predecesor, COCOLogic-V2 enmarca la tarea como una clasificación multietiqueta para reducir los atajos y el desequilibrio de clases.
2. Reglas Lógicas Composicionales: El conjunto de datos comprende 10 reglas lógicas distintas (por ejemplo, "Señal y Viaje", "Doble Servicio", "Rebaño Solitario") basadas en la coocurrencia, ausencia o conteos específicos de categorías de objetos dentro de una imagen.
3. Categorización de Muestras de Grano Fino: Una innovación central es la categorización de las muestras en tres tipos distintos para permitir el diagnóstico automático de la responsabilidad del modelo:
   • Variantes Positivas: Diferentes formas en que una regla puede satisfacerse (derivadas de la Forma Normal Disyuntiva de la regla).
   • Negativos de Borde Cercano (NB): Muestras que están cerca del límite de decisión. Estas se generan cambiando un solo literal en la lógica o modificando los conteos de objetos (por ejemplo, cambiar "exactamente tres" por "uno o dos"). Estas muestras prueban si un modelo ha aprendido los detalles específicos de la regla.
   • Negativos Lejos del Borde (FB): Muestras que son fácilmente distinguibles de las positivas, a menudo clasificables sin comprender la regla.
4. COCOLogic-V2-FS: Una versión curada y de pequeña escala del conjunto de datos que contiene 24 muestras de entrenamiento por regla, diseñada específicamente para evaluar las capacidades de aprendizaje de pocos disparos (few-shot) y de contexto (in-context learning).

Procedimiento de Muestreo

El conjunto de datos se muestrea de imágenes de MSCOCO. El proceso implica seleccionar hasta 1,000 imágenes por variante positiva, asegurando al menos 500 imágenes por tipo NB, y completar el resto con muestras FB para mantener una distribución cercana al conjunto de datos MSCOCO original. El conjunto de entrenamiento final contiene 25,000 imágenes, y el conjunto de prueba contiene 3,500 imágenes.

Evaluaciones Experimentales

Los autores evaluaron varias familias de enfoques tanto en el conjunto de datos completo como en la versión de pocos disparos:

• Modelos Basados en Conceptos: Variantes de CBMs usando etiquetas de objetos de verdad fundamental (Oracle), detectores preentrenados (Mask R-CNN), codificadores supervisados, representaciones basadas en CLIP, CBMs centrados en objetos (OCB) y el Deep Concept Reasoner (DCR).
• Baselines de Caja Negra: ResNet-50 con ajuste fino (fine-tuned).
• Enfoques de Pocos Disparos (Few-Shot): Aprendizaje en contexto con Modelos de Lenguaje-Visión (VLMs) como GPT-5.5, Gemini-3.1-Pro-Preview y Claude-Opus-4-7, así como síntesis de programas usando el enfoque VLP con Gemma-4-31B-it.

Resultados Clave

1. Fallo en Muestras de Borde Cercano: En el conjunto de datos completo, la mayoría de los modelos lograron una alta precisión balanceada general (B-Acc > 80%) al separar exitosamente las muestras positivas de las negativas FB. Sin embargo, el rendimiento en las muestras NB fue consistentemente pobre, cayendo a menudo al nivel o por debajo del azar (por ejemplo, 27–48% para varios CBMs). Esto indica que los modelos están explotando patrones estadísticos gruesos en lugar de aprender las reglas lógicas subyacentes.
2. Impacto del Ruido de Percepción: Los modelos que dependen de representaciones de conceptos más ruidosas (por ejemplo, CLIP o detectores preentrenados) tuvieron un peor desempeño en las muestras NB que aquellos que usan etiquetas de verdad fundamental, lo que sugiere que los detalles finos de las reglas son difíciles de capturar con una percepción imperfecta.
3. Desafíos de Pocos Disparos (Few-Shot): En el entorno COCOLogic-V2-FS, todos los enfoques de CBM tuvieron dificultades significativas debido a la señal de entrenamiento limitada (24 muestras por regla). Aunque el aprendizaje en contexto con VLMs y la síntesis de programas funcionaron mejor (alcanzando ~70% B-Acc), también enfrentaron desafíos. Específicamente, los VLMs a menudo identificaron patrones semánticamente relacionados pero lógicamente imprecisos, y la síntesis de programas tuvo dificultades con los grandes espacios de búsqueda y la identificación de objetos relevantes sin conceptos de verdad fundamental.
4. Límites Superiores de Oracle: Incluso con entradas de concepto perfectas (Oracle), los predictores lineales fallaron en reglas que involucran XOR o conteo exacto, mientras que los MLP lograron un rendimiento casi perfecto, confirmando que el conjunto de datos es resoluble en principio pero requiere capacidades de razonamiento no lineales.

Contribuciones

El artículo realiza tres contribuciones principales:

1. COCOLogic-V2: Un conjunto de datos centrado en objetos para el razonamiento inductivo visual sobre imágenes naturales que expande el alcance lógico para incluir el conteo y las comparaciones, reformulado como una tarea multietiqueta.
2. COCOLogic-V2-FS: Una versión de pocos disparos (few-shot) curada para evaluar entornos con datos limitados y aprendizaje en contexto.
3. Evidencia Empírica de Limitaciones: Una demostración de que los enfoques interpretables actuales (CBMs, VLMs, síntesis de programas) no logran capturar las reglas lógicas subyacentes, particularmente en las muestras de borde cercano, resaltando el razonamiento inductivo visual como un desafío abierto.

Significado y Reivindicaciones

Los autores afirman que COCOLogic-V2 proporciona una base concreta para avanzar en los métodos de razonamiento inductivo visual. La categorización de grano fino del conjunto de datos (Positivo, NB, FB) sirve como una herramienta de diagnóstico automático, revelando que una alta precisión general a menudo enmascara un fallo en el aprendizaje de reglas lógicas específicas.

El artículo concluye que el razonamiento lógico visual sobre datos del mundo real sigue siendo un desafío abierto. Los modelos actuales tienden a separar bien las muestras positivas y las negativas fáciles, pero fallan en las muestras que requieren una comprensión adecuada de los detalles de la regla. Los autores sugieren que el trabajo futuro debería centrarse en mitigar los atajos específicos del razonamiento y extender los conjuntos de datos para incluir estructuras lógicas más complejas y relaciones entre objetos para probar aún más los límites de los modelos interpretables.