MINT: Minimal Information Neuro-Symbolic Tree for Objective-Driven Knowledge-Gap Reasoning and Active Elicitation

Resumen Técnico: MINT para el Razonamiento de Brechas de Conocimiento Orientado a Objetivos

Enunciado del Problema
En el trabajo en equipo humano-IA en entornos abiertos, la planificación conjunta se ve frecuentemente obstaculizada por información incompleta y desconocimientos, como objetos no vistos, intenciones humanas ambiguas o restricciones ambientales inciertas. Estas "brechas de conocimiento" generan incertidumbres en las transiciones de estado y en las funciones de recompensa, lo que conduce a ejecuciones conservadoras y planes subóptimos. Si bien los métodos existentes como el Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF) o la adaptación con pocos ejemplos pueden procesar la entrada humana, a menudo carecen de la capacidad para razonar expresivamente sobre estas brechas o elicitar activamente la información específica necesaria para cerrarlas. Por el contrario, los enfoques tradicionales de Humano en el Bucle (HITL) suelen centrarse en el ajuste fino mediante demostraciones en lugar de abordar la causa raíz de las brechas de conocimiento mediante una elicitación activa orientada a objetivos.

Metodología: Árbol Neuro-Simbólico de Información Mínima (MINT)
Los autores proponen MINT, un marco que combina razonamiento simbólico, políticas de planificación neuronal y Modelos de Lenguaje Grande (LLM) para optimizar la elicitación de entradas humanas. La metodología opera en dos fases principales: entrenamiento y despliegue.

1. Entrenamiento de la Política Neuronal (Estimación de Incertidumbre):
   El sistema emplea una Red Q Profunda con Bootstrap (específicamente UA-DQN) para estimar no solo los valores Q óptimos, sino también la incertidumbre aleatoria (varianza) de los resultados de la planificación causada por las brechas de conocimiento. Durante el entrenamiento, el agente se expone a una familia de Procesos de Decisión de Markov (MDP) extendidos donde la brecha de conocimiento $u$ oculta partes del descriptor de verdad fundamental $\phi$. La red aprende a estimar la media y la varianza de los valores Q sobre la distribución de descriptores posibles $\Phi_u$.

2. Construcción y Expansión del Árbol Simbólico:
   Cuando se detecta una brecha de conocimiento (por ejemplo, una alta varianza en los valores Q), MINT construye un árbol simbólico.

   • Nodos: Representan estados del problema de planificación con brechas de conocimiento específicas, caracterizados por descriptores (tipo, subtipo, rangos de valores).
   • Aristas: Representan proposiciones (consultas) propuestas para reducir la brecha.
   • Expansión: El árbol se expande de manera en anchura. Para cada nodo, la política neuronal estima la recompensa media y la varianza. Si la varianza es alta en relación con la brecha de recompensa entre las acciones, el nodo se expande dividiendo el espacio de la brecha de conocimiento (por ejemplo, dividiendo rangos de valores o hipotetizando diferentes tipos de incertidumbre). Este proceso continúa hasta que la varianza es suficientemente baja o se alcanza un límite de profundidad.

3. Curaduría Basada en LLM y Elicitación Activa:
   Una vez construido el árbol, un LLM procesa la estructura para optimizar la estrategia de interacción:

   • Poda: El LLM fusiona subárboles o hojas equivalentes que conducen a acciones óptimas idénticas para eliminar redundancias.
   • Generación de Consultas: El LLM sintetiza preguntas binarias (sí/no) diseñadas para maximizar la ganancia de información respecto a los candidatos de acción óptima.
   • Interacción: El agente formula estas preguntas al humano. La respuesta humana actualiza la brecha de conocimiento, podando las ramas inconsistentes del árbol. Este proceso iterativo continúa hasta que se identifica la acción óptima con alta confianza.

Análisis Teórico
El artículo proporciona una garantía teórica del rendimiento de MINT. Al definir una pseudo-métrica entre MDP con diferentes kernels de transición y funciones de recompensa, los autores prueban una continuidad pseudo-Lipschitz local de las funciones Q óptimas. Derivan una cota superior para la brecha de recompensa entre la planificación basada en MINT (con elicitación activa) y un caso ideal sin brechas de conocimiento. Este análisis demuestra que reducir iterativamente la brecha de conocimiento mediante la estrategia de consultas de MINT reduce la brecha de recompensa, proporcionando una garantía de rendimiento.

Contribuciones Clave

1. Marco MINT: La propuesta de un árbol neuro-simbólico que consulta una política de planificación neuronal para razonar sobre los impactos de las brechas de conocimiento y aprovecha el auto-juego para optimizar las estrategias de elicitación humana.
2. Garantías Teóricas: La prueba de continuidad pseudo-Lipschitz local para las recompensas de planificación y la derivación de una cota superior para la brecha de recompensa, ofreciendo una base teórica sólida para la elicitación humana activa.
3. Validación Empírica: Demostración de que MINT alcanza recompensas cercanas a las de expertos con significativamente menos consultas (1–3 por objeto) en comparación con líneas base en diversos entornos.

Resultados Experimentales
Los autores evaluaron MINT en tres benchmarks con realismo creciente:

• MiniGrid: MINT logró tasas de éxito casi perfectas y recompensas promedio altas, superando significativamente a los LLM puros (que a menudo eran excesivamente conservadores) y a los métodos de RL puros (que luchaban con la incertidumbre). MINT mantuvo un alto rendimiento incluso con un presupuesto de consultas limitado.
• Atari Pacman: En un entorno con observaciones de píxeles crudos y zonas de recompensa/transición desconocidas, MINT alcanzó recompensas competitivas en comparación con las líneas base de RL con Humano en el Bucle (Query-A), pero requirió significativamente menos consultas.
• Isaac Gym (Búsqueda y Rescate): En un escenario de rescate con drones de alta fidelidad que involucraba objetos oscurecidos por humo y objetivos ocultos, MINT superó a las estrategias de planificación basadas en LLM, navegando con éxito la incertidumbre mediante el razonamiento sobre brechas de conocimiento específicas.

Significado y Afirmaciones
El artículo afirma ser el primer trabajo que combina el razonamiento simbólico de las brechas de conocimiento, las políticas de planificación neuronal y los LLM para habilitar una elicitación humana activa y optimizada en la planificación basada en lenguaje. Los autores afirman que MINT cierra efectivamente la brecha entre la interpretabilidad de los métodos simbólicos y la adaptabilidad de las redes neuronales. Al reducir sistemáticamente las brechas de conocimiento mediante consultas dirigidas, MINT permite que los agentes de IA funcionen como compañeros proactivos en lugar de herramientas pasivas, logrando un rendimiento cercano al de expertos mientras minimizan la carga de comunicación sobre los socios humanos. El trabajo sugiere que este enfoque es particularmente vital para escenarios de mundo abierto donde la información perfecta no está disponible y la planificación conservadora conduce a resultados no óptimos.