Resumen Técnico: Aprendizaje por Imitación Neurosimbólico con Guía Humana: Un Enfoque de Información Privilegiada

Declaración del Problema

El Aprendizaje por Imitación (IL) tiene como objetivo aprender una política (una mapeo de estados a acciones) a partir de demostraciones expertas. Si bien los métodos puramente neuronales (por ejemplo, Clonación Conductual) manejan eficazmente datos crudos de alta dimensión como imágenes, sufren de ineficiencia en el muestreo, sobreajuste y falta de generalización en entornos con números variables de objetos. Por el contrario, los métodos puramente simbólicos ofrecen interpretabilidad y una fuerte generalización, pero luchan por procesar entradas de alta dimensión directamente y a menudo requieren representaciones simbólicas preespecificadas.

Además, los métodos existentes de IL a menudo fallan en utilizar Información Privilegiada (PI): datos auxiliares disponibles durante el entrenamiento pero no disponibles durante el despliegue. Si bien los datos de la mirada (seguimiento ocular humano) son un candidato natural para PI en tareas visuales, los enfoques anteriores típicamente aplican la guía de la mirada a políticas neuronales, preservando su naturaleza de "caja negra", o la utilizan meramente para regularización sin alterar el proceso subyacente de razonamiento simbólico.

El desafío central abordado por este artículo es: ¿Cómo podemos desarrollar un marco de aprendizaje por imitación que combine el procesamiento de alta dimensión de las redes neuronales con la generalización y la interpretabilidad del razonamiento simbólico, mientras aprovecha eficazmente la información privilegiada (específicamente la mirada humana) para guiar el aprendizaje de políticas robustas y generalizables?

Metodología: El Marco GRAIL

Los autores proponen GRAIL (Aprendizaje por Imitación Relacional Guiado por la Mirada), un marco neurosimbólico que integra tres módulos estrechamente acoplados para aprender reglas de lógica probabilística interpretables a partir de imágenes crudas y datos de mirada.

1. Anclaje Neurosimbólico (Módulo de Percepción)

En lugar de asumir entradas simbólicas, GRAIL acepta observaciones de píxeles crudos ($o_t$). Una red de percepción neuronal ($f_\theta$) mapea estas imágenes crudas a un conjunto de átomos anclados probabilísticos ($v^{(0)}_t$).

• Mecanismo: La red genera un vector de probabilidades de verdad para un conjunto predefinido de predicados de primer orden (por ejemplo, enemigoVisible, cercaDelJugador).
• Entrenamiento: Este módulo se entrena de forma independiente utilizando etiquetas binarias de verdad absoluta derivadas de un oráculo de extracción de objetos (OCAtari) mediante la pérdida de Verosimilitud Negativa (NLL). Una vez entrenado, actúa como un extractor de características fijo.

2. Modulación Privilegiada por la Mirada

Esta es la innovación central que aprovecha el paradigma de Aprendizaje Usando Información Privilegiada (LUPI).

• Predicción de la Mirada: Una red separada ($g_\phi$) se entrena para predecir un mapa de calor de la mirada a partir del cuadro crudo, minimizando la divergencia Kullback-Leibler frente a los datos reales de seguimiento ocular.
• Reponderación de Átomos: Durante el entrenamiento de la política, el mapa de calor de la mirada se utiliza para calcular una "masa de mirada" ($s_i$) para cada entidad referenciada en los átomos anclados.
• Modulación: Las probabilidades iniciales de los átomos se reponderan por las puntuaciones de la mirada: $v^{(g)}_{t,i} = v^{(0)}_{t,i} \cdot s_i$.
• Efecto: Este mecanismo suprime las probabilidades de los átomos correspondientes a entidades de fondo o irrelevantes para la tarea que el experto humano no miró, filtrando eficazmente las correlaciones espurias antes de la etapa de razonamiento lógico.

3. Razonador Diferenciable de Encadenamiento hacia Adelante (Aprendizaje de la Política)

El estado simbólico modulado por la mirada ($v^{(g)}_t$) se introduce en un Razonador Neurosimbólico de Encadenamiento hacia Adelante (NSFR).

• Lógica: El razonador realiza inferencia diferenciable de encadenamiento hacia adelante sobre una biblioteca predefinida de cláusulas definidas de Lógica de Primer Orden (FOL) (reglas).
• Diferenciabilidad: Las operaciones lógicas (conjunción/disyunción) se aproximan utilizando semántica de lógica difusa (producto T-norma y T-conorma), permitiendo que los gradientes fluyan a través del gráfico de inferencia.
• Optimización de la Política: El sistema aprende una matriz de pesos ($W$) para las reglas. El objetivo es la Clonación Conductual: minimizar la verosimilitud negativa de la acción del experto dada la distribución de acciones inferida derivada de las activaciones de las reglas.

Contribuciones Clave

1. Nuevo Marco Neurosimbólico: El desarrollo de GRAIL, que aprende reglas de lógica probabilística interpretables para el aprendizaje por imitación directamente a partir de datos visuales crudos.
2. Integración de Información Privilegiada: La formulación específica de la mirada humana como información privilegiada para modular las valoraciones de los átomos simbólicos. Esto es distinto de trabajos anteriores que aplican la mirada a capas neuronales; aquí, la mirada guía la etapa de anclaje simbólico.
3. Síntesis Interdisciplinaria: El artículo combina conceptos de aprendizaje neuronal, aprendizaje simbólico (Programación Lógica Inductiva), aprendizaje por imitación y aprendizaje basado en consejos (LUPI) en un único sistema entrenable de extremo a extremo.
4. Validación Empírica: Demostración de que el marco es eficiente en el muestreo, aprende políticas robustas y se generaliza a escenarios de tiempo de prueba con un número desconocido de objetos, superando tanto a las líneas base puramente neuronales como a las puramente simbólicas.

Resultados Experimentales

El marco se evaluó en dos entornos de Atari 2600 (Asterix y Seaquest) utilizando el conjunto de datos Atari-HEAD (que incluye datos de seguimiento ocular humano).

• Eficacia (P1): GRAIL logró las puntuaciones medias de juego más altas en ambos dominios, superando significativamente a las líneas base puramente neuronales (Clonación Conductual, AGIL, BC+Mask) y a la línea base neurosimbólica sin modulación de mirada (NSFR-IL).
• Eficiencia en el Muestreo (P2): GRAIL convergió a niveles de rendimiento más altos con significativamente menos muestras de entrenamiento. Notablemente, GRAIL entrenado solo con el 10% de los datos superó a la línea base NSFR-IL entrenada con el conjunto de datos completo. Los autores atribuyen esto a que la modulación de la mirada actúa como regularizador, evitando que el modelo ajuste correlaciones espurias en los datos.
• Generalización (P3): Cuando se probó en entornos con un número mayor de objetos que los vistos durante el entrenamiento, GRAIL mantuvo un alto rendimiento. Las líneas base neuronales fallaron en generalizar más allá de sus conteos de objetos de entrenamiento, mientras que la naturaleza relacional de la representación simbólica de GRAIL le permitió manejar conteos de objetos no vistos de manera natural.

Significado y Afirmaciones

El artículo afirma que GRAIL representa el primer marco neurosimbólico de extremo a extremo capaz de integrar fluidamente la información de la mirada como información privilegiada para aprender políticas efectivas, eficientes y generalizables.

• Robustez: Al utilizar la mirada para filtrar átomos simbólicos, el sistema evita aprender políticas basadas en características de fondo irrelevantes, abordando el problema del "cambio de covariable" común en el aprendizaje por imitación.
• Interpretabilidad: A diferencia de las políticas neuronales, la política resultante es un conjunto de reglas lógicas ponderadas. Los pesos en sí mismos proporcionan una explicación del proceso de toma de decisiones (por ejemplo, qué reglas son más críticas para acciones específicas).
• Modularidad: El marco se describe como "conectar y usar", capaz de integrar aprendices diferenciables, diversos módulos de percepción y diferentes formas de información privilegiada (no limitadas a la mirada).

Los autores concluyen que combinar conceptos clásicos de IA (neuronal, simbólico, basado en consejos) produce un modelo que no solo es performante, sino también transparente y capaz de generalizar a entornos complejos y dinámicos donde los métodos simbólicos tradicionales luchan y los métodos neuronales puros carecen de robustez.