Resumen Técnico: Aprendizaje Neurosimbólico Centrado en Objetos con Supervisión Distante

Declaración del Problema

Los sistemas actuales de IA neurosimbólica enfrentan un cuello de botella crítico: aunque pueden utilizar eficazmente reglas simbólicas para supervisar conceptos latentes a partir de etiquetas débiles, típicamente asumen que las entidades (objetos) referenciadas por estas reglas ya están especificadas. Por el contrario, los modelos de aprendizaje centrado en objetos pueden descomponer imágenes en representaciones tipo ranura (slots), pero a menudo fallan al alinear estas ranuras con los predicados específicos requeridos para el razonamiento simbólico, especialmente cuando la supervisión a nivel de objeto (por ejemplo, máscaras, cuadros delimitadores o etiquetas por objeto) no está disponible.

Este artículo aborda el desafío del aprendizaje neurosimbólico centrado en objetos bajo supervisión distante. El problema central se define como el aprendizaje de un modelo donde:

1. Entrada: Un conjunto de datos de pares imagen-etiqueta $(x, y)$ donde las imágenes pueden contener un número desconocido de objetos, pero no existen anotaciones para la identidad, ubicación o clase de los objetos.
2. Restricción: Se proporciona un programa lógico probabilístico $L$, que especifica cómo los predicados latentes a nivel de objeto (por ejemplo, objetividad y clase) determinan la etiqueta global $y$.
3. Objetivo: Aprender un modelo neurosimbólico que infiera la estructura centrada en objetos (qué partes de la imagen son objetos y qué son) directamente desde la etiqueta de la tarea global, permitiendo que la capa simbólica restrinja la capa perceptual sin supervisión explícita a nivel de objeto.

Metodología: DeepObjectLog

Los autores proponen DeepObjectLog, una arquitectura neurosimbólica probabilística que integra un codificador perceptual basado en ranuras con una capa de lógica probabilística. El modelo se entrena de extremo a extremo utilizando un objetivo de Máxima A Posteriori (MAP) con inferencia amortizada.

1. Modelo Gráfico Probabilístico

El modelo define una distribución conjunta sobre la imagen $x$, la etiqueta de tarea $y$ y variables latentes que incluyen la representación de la escena $z$, las representaciones de ranura $s$, las probabilidades de objetividad $\beta$, las banderas de objetividad $o$ y las etiquetas de clase $c$.

• Codificador: Un mecanismo de Atención a Ranuras (Slot Attention) extrae hasta $N$ representaciones de ranura latente $s_i$ de la imagen.
• Detector de Objetos y Clasificador: Para cada ranura, el modelo predice:
  • Una probabilidad de objetividad $\beta_i \in [0, 1]$, que representa la incertidumbre de que la ranura corresponda a un objeto significativo.
  • Una distribución de clase $p(c_i | s_i, \beta_i)$, condicionada a la objetividad.
  • La bandera de objetividad $o_i$ se modela como una variable Bernoulli con parámetro $\beta_i$.
• Enmascaramiento Suave: Para reducir la influencia de las ranuras de fondo o espurias, la representación de la ranura se multiplica elemento a elemento por su puntuación de objetividad $\beta_i$ antes de ser pasada al clasificador y al decodificador.

2. Razonamiento Lógico Probabilístico

El componente simbólico utiliza ProbLog, un marco de programación lógica probabilística.

• Hechos Probabilísticos: Las banderas de objetividad $o_i$ y las asignaciones de clase $c_i$ se tratan como hechos probabilísticos (por ejemplo, $p::object(i)$).
• Reglas: Las reglas lógicas definen cómo estos hechos se combinan para determinar la etiqueta de tarea $y$ (por ejemplo, $add(Z) \leftarrow digit(1, Y1), digit(2, Y2), Z \text{ es } Y1 + Y2$).
• Marginalización: La verosimilitud de la etiqueta observada $y$ se calcula marginalizando sobre todas las asignaciones posibles de objetividad y clase. Esto permite que el sistema calcule una señal de aprendizaje diferenciable a nivel de tarea sin requerir muestreo discreto ni pérdidas de coincidencia de conjuntos heurísticas (como la pérdida de Húngaro).

3. Objetivo de Aprendizaje

El objetivo de entrenamiento maximiza la probabilidad conjunta de los datos observados y una explicación latente $z$:
$$\max_{\theta, \phi} \sum_{(x,y) \in D} \log p_\theta(y | s^*(q_\phi(x)), \beta^*(q_\phi(x))) + \log p_\theta(x | s^*(q_\phi(x)), \beta^*(q_\phi(x))) + \log p(q_\phi(x))$$
Donde:

• El primer término fomenta que la representación inferida centrada en objetos explique la etiqueta de tarea simbólica.
• El segundo término (pérdida de reconstrucción) asegura que la representación pueda reconstruir la imagen de entrada.
• El tercer término es un prior sobre la explicación latente amortizada.
• $q_\phi$ es un codificador neuronal que aproxima la explicación latente $z$, evitando la necesidad de un bucle de optimización interno por ejemplo de entrenamiento.

Contribuciones Clave

1. Formulación: El artículo formula el problema del aprendizaje neurosimbólico centrado en objetos a partir de supervisión distante, donde los objetos deben inferirse desde la percepción en lugar de proporcionarse como entradas estructuradas.
2. Interfaz Probabilística: Introduce una interfaz diferenciable entre ranuras y lógica donde las variables de objetividad y clase se marginalizan mediante inferencia probabilística. Esto elimina la necesidad de anotaciones de objetos, muestreo discreto o pérdidas de coincidencia de conjuntos.
3. Arquitectura DeepObjectLog: Los autores instan esta formulación en DeepObjectLog y demuestran que la retroalimentación lógica mejora el uso relevante para la tarea de las representaciones centradas en objetos, apoyando una generalización relacional más fuerte.

Resultados Experimentales

El modelo se evaluó en cuatro puntos de referencia: MultiMNIST-Adición, PokerRules, CLEVR-Adición y COCOLogic.

• Generalización Composicional: En MultiMNIST-Adición, DeepObjectLog logró una precisión del 90.00% en composiciones fuera de distribución (OOD) (combinaciones de dígitos no vistas), superando significativamente a las líneas base neuronales (por ejemplo, Atención a Ranuras con 13.30%) y a una línea base neurosimbólica estándar sin percepción centrada en objetos (35.76%).
• Generalización de Tarea: En la tarea PokerRules, el modelo logró una precisión del 72.23% en clases OOD (por ejemplo, "póker" no visto durante el entrenamiento), mientras que la línea base neurosimbólica falló (0.46%). Las líneas base neuronales no pudieron generalizar a nuevas clases ya que sus espacios de salida estaban fijos por las etiquetas de entrenamiento.
• Generalización de Recuento de Objetos: El modelo demostró una extrapolación robusta a imágenes con más objetos que los vistos durante el entrenamiento (por ejemplo, 4-5 dígitos en MultiMNIST), manteniendo una alta precisión donde los competidores se degradaron significativamente.
• Fuerza de la Señal de Aprendizaje: En COCOLogic, DeepObjectLog logró una precisión de concepto no trivial con 0% de supervisión a nivel de objeto, demostrando su capacidad para aprender la estructura de objetos puramente desde la señal de la tarea. Este rendimiento se mantuvo incluso a medida que aumentaban los niveles de supervisión.
• Comparación con Modelos de Lenguaje Visual (VLM): En la tarea OOD de MultiMNIST-Adición, DeepObjectLog (90% de precisión) superó significativamente a los grandes Modelos de Lenguaje Visual (LLaVA-1.5 y Qwen2.5-VL), que tuvieron dificultades para resolver la tarea de manera fiable bajo indicación de cero disparos (zero-shot prompting).

Significado y Afirmaciones

El artículo afirma que DeepObjectLog representa un paso significativo hacia sistemas neurosimbólicos más generales al cerrar la brecha entre el descubrimiento perceptual de objetos y el razonamiento simbólico. Su significado principal radica en:

1. Generalización Relacional: La capacidad de apoyar el razonamiento bajo desplazamientos de distribución, incluidas nuevas composiciones de objetos, diferentes recuentos de objetos y nuevas consultas simbólicas sobre vocabularios aprendidos.
2. Robustez sin Supervisión: La capacidad de aprender estructuras significativas centradas en objetos y razonar sobre ellas sin requerir supervisión explícita a nivel de objeto (máscaras o cuadros delimitadores), confiando únicamente en etiquetas de tareas globales y reglas simbólicas.
3. Interpretabilidad: El modelo proporciona predicciones interpretables a nivel de objeto (objetividad y clase) que se alinean con el proceso de razonamiento simbólico, ofreciendo garantías que carecen los enfoques puramente neuronales.

Los autores reconocen limitaciones, incluido el costo computacional de la inferencia exacta en lógica probabilística (aunque mitigado por marcos de optimización) y el potencial de atajos de razonamiento en configuraciones de supervisión débil, que sus restricciones estructurales buscan desalentar. Concluyen que, si bien el enfoque avanza hacia una IA robusta e interpretable, los despliegues futuros deben considerar los riesgos relacionados con el sesgo y la vigilancia de doble uso.