💬 NLP

$How^{2}$ : How to learn from procedural How-to questions

El artículo presenta $How^{2}$ , un marco de agente de memoria que permite a los agentes basados en LLM mejorar la planificación de por vida en entornos interactivos mediante la formulación y almacenamiento de preguntas procedimentales sobre cómo hacer, demostrando que las respuestas abstractas e independientes del estado son las más efectivas para el aprendizaje.

Autores originales: Gautier Dagan, Frank Keller, Alex Lascarides

Publicado 2026-05-06

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Gautier Dagan, Frank Keller, Alex Lascarides

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando construir una pieza de mobiliario compleja, como una estantería, pero nunca lo has hecho antes. Tienes una pila de madera y herramientas, pero no hay instrucciones.

En el mundo de la Inteligencia Artificial, esto es lo que enfrenta un "agente" (un programa informático inteligente) cuando intenta resolver un problema de planificación. Sabe qué quiere construir, pero no sabe cómo unir las piezas.

Este artículo, titulado How2, introduce una nueva forma de que estos agentes de IA aprendan. En lugar de solo adivinar y cometer errores (ensayo y error), se enseña a la IA a pedir ayuda a un "Profesor" (otra IA o un experto humano), anotar la respuesta y usar esa nota para resolver problemas similares más adelante.

Aquí está el desglose de su descubrimiento, usando analogías simples:

1. El Problema: El Dilema "Demasiado Específico" vs. "Demasiado Vago"

Cuando le preguntas a un profesor "¿Cómo construyo esta estantería?", puede responder de diferentes maneras. Los investigadores probaron cuatro tipos de respuestas para ver cuál ayuda mejor al estudiante a aprender con el tiempo:

La Respuesta "GPS" (Ejecutable): El profesor dice: "Mueve tu mano exactamente 3 pulgadas a la izquierda, luego toma el tornillo del casillero #12".
- Ventajas: Funciona perfectamente ahora mismo.
- Desventajas: Si mueves el tornillo al casillero #15, las instrucciones son inútiles. Es como un GPS que solo funciona si estás exactamente en el mismo embotellamiento que antes.
La Respuesta "Sub-objetivo" (Parcialmente Ejecutable): El profesor dice: "Primero, encuentra un tornillo. Luego, ponlo en el agujero".
- Ventajas: Es más flexible. Puedes encontrar el tornillo donde sea que esté.
La Respuesta "Abstracta" (No Ejecutable): El profesor dice: "Necesitas organizar la madera en forma de 'T' y atornillarla".
- Ventajas: Esta es la más flexible. No le importan casilleros o números específicos; describe el patrón.
- Desventajas: La IA tiene que averiguar exactamente qué piezas encajan en la forma de "T".

2. El Gran Descubrimiento: Corto Plazo vs. Largo Plazo

Los investigadores encontraron una compensación fascinante, como elegir entre una comida para llevar y aprender a cocinar:

Para el éxito inmediato: La respuesta "GPS" (instrucciones específicas, paso a paso) es la mejor. Si solo necesitas construir la estantería ahora mismo, sigue los pasos exactos.
Para el aprendizaje de por vida: Las respuestas "Abstractas" o de "Sub-objetivo" son mucho mejores. Si quieres construir muchas estanterías a lo largo de tu vida, necesitas entender el concepto del patrón, no solo las coordenadas específicas de un tornillo.

La Analogía:
Si un profesor te da una lista específica de ingredientes para un pastel (por ejemplo, "Usa la harina de la bolsa azul en la estantería superior"), puedes hacer ese pastel. Pero si la bolsa azul está vacía mañana, estás atascado.
Si el profesor dice, "Usa dos tazas de harina", puedes hacer el pastel sin importar dónde esté la harina o de qué color sea la bolsa. El artículo muestra que los agentes de IA aprenden mucho mejor cuando se les enseña la regla de "dos tazas de harina" en lugar de la regla de "la bolsa azul".

3. La Solución: El Marco "How2"

Los autores construyeron un sistema llamado How2 para gestionar este proceso de aprendizaje. Piénsalo como un cuaderno inteligente para la IA.

Así es como funciona en cuatro pasos:

Revisar el Cuaderno: Antes de intentar construir algo, la IA revisa su memoria. "¿He construido una estantería como esta antes?"
Preguntar al Profesor: Si el cuaderno está vacío o las notas antiguas no se ajustan a la situación actual (por ejemplo, la madera está en un lugar diferente), la IA le pregunta al Profesor: "¿Cómo hago esto?"
Traducir la Respuesta: Este es el paso mágico. Cuando el Profesor da una respuesta, la IA no solo la copia y pega. Traduce la respuesta.
- Ejemplo: Si el profesor dice "Mueve la madera del Casillero 12", el cuaderno de la IA lo reescribe como "Mueve la madera desde donde esté". Esto hace que la nota sea útil para cualquier situación futura, no solo para la actual.
Almacenar y Reutilizar: La IA guarda esta nota "traducida". La próxima vez que necesite construir una estantería, lee la nota, averigua dónde está la madera ahora y sigue la regla general.

4. Los Resultados: La Prueba "Minecraft"

Los investigadores probaron esto en un mundo digital llamado Plancraft (basado en el juego Minecraft), donde la IA debe fabricar objetos como botellas de vidrio o tinte rojo usando una cuadrícula de fabricación.

El Hallazgo: Los agentes que solo seguían instrucciones específicas y rígidas (estilo "GPS") fracasaron miserablemente cuando la configuración del juego cambió ligeramente. No podían adaptarse.
El Ganador: Los agentes que usaron el sistema How2 con notas "traducidas" (abstrayendo los números de casillero específicos) se volvieron mucho más inteligentes con el tiempo. Pidieron ayuda con menos frecuencia y resolvieron más tareas por sí mismos porque habían aprendido los patrones de fabricación, no solo los movimientos específicos.

Resumen

El artículo argumenta que para que la IA aprenda verdaderamente y mejore en la planificación a lo largo de una vida, no debe solo memorizar instrucciones específicas. En su lugar, debe hacer preguntas, obtener respuestas y luego resumir esas respuestas en reglas generales.

Es la diferencia entre memorizar un solo número de teléfono (inútil si la persona se muda) y entender cómo funciona una guía telefónica (útil para siempre). El marco How2 enseña a la IA a hacer exactamente eso: convertir respuestas específicas de "cómo hacerlo" en conocimiento general y reutilizable.

Resumen Técnico: How2 – Aprendizaje a partir de Preguntas Procedimentales de "Cómo Hacer"

Enunciado del Problema

Los agentes que operan en entornos interactivos a menudo enfrentan problemas de planificación donde carecen del conocimiento procedimental necesario para completar tareas específicas. Aunque los asistentes de IA pueden hacer preguntas aclaratorias para resolver ambigüedades, rara vez solicitan conocimiento procedimental (por ejemplo, "¿Cómo hago X?") para llenar vacíos de conocimiento para la planificación futura. El desafío radica en la naturaleza abierta de las preguntas de "cómo hacer": las respuestas válidas van desde descripciones de subobjetivos de alto nivel hasta secuencias de acciones totalmente ejecutables. Esta variabilidad dificulta que los agentes formulen las preguntas correctas y que los "docentes" (humanos u oráculos) proporcionen respuestas que sean tanto inmediatamente útiles como reutilizables para el aprendizaje de por vida. Específicamente, las respuestas estrechamente acopladas al estado actual (por ejemplo, ranuras específicas del inventario) a menudo no son generalizables a nuevos estados, lo que obstaculiza la autonomía a largo plazo.

Metodología

Los autores proponen How2, un marco de agente impulsado por memoria diseñado para el aprendizaje de por vida en entornos interactivos. El sistema opera dentro de Plancraft, un entorno de elaboración basado en Minecraft donde los agentes deben manipular elementos del inventario para ensamblar objetos objetivo.

Marco Central

How2 integra un agente, un docente y un módulo de memoria a través del siguiente flujo de trabajo:

Recuperación de Memoria: El agente consulta primero un almacén de memoria utilizando una herramienta read-memory con una consulta $\theta$ (por ejemplo, un nombre de receta). La memoria es un almacén de clave-valor donde los valores son conjuntos de entradas de memoria.
Verificación de Relevancia: Si existen entradas, una verificación de relevancia basada en un LLM determina si la memoria almacenada se aplica al estado actual del juego ( $o_t$ ).
Generación de Pregunta: Si no se encuentra memoria relevante (un fallo de caché), el agente genera una pregunta procedimental de "cómo hacer" ( $q_\theta$ ) condicionada a la observación actual.
Respuesta del Docente: Un modelo de docente ( $T$ $T$ ) responde a la pregunta. El artículo evalúa cuatro tipos distintos de docentes basados en el nivel de abstracción de sus respuestas:
- Ejecutable: Proporciona secuencias de acciones paso a paso totalmente fundamentadas (por ejemplo, "Moverse de I12 a A1").
- Parcialmente Ejecutable: Elimina los detalles específicos del estado (por ejemplo, "Mover el vidrio a A1") pero permanece como una lista plana de acciones.
- Subobjetivo-Parcialmente Ejecutable: Estructura el plan en subobjetivos jerárquicos (por ejemplo, "Fundir vidrio" seguido de "Elaborar botella"), agrupando acciones en recetas identificables.
- No Ejecutable: Proporciona descripciones de lenguaje natural de alto nivel y no fundamentadas utilizando patrones y formas (por ejemplo, "Disponer los elementos en forma de V"), abstrayendo completamente los nombres de ranuras específicos.
Análisis y Almacenamiento: El módulo ParseAnswer del agente procesa la respuesta del docente. Abstrae los detalles específicos del estado (reemplazando IDs de ranuras específicas con nombres de elementos) y genera etiquetas. La entrada generalizada se almacena en memoria bajo la consulta original y las etiquetas asociadas.

Configuración Experimental

Los autores evaluaron el marco utilizando los modelos Llama 3.3 70B y Qwen 3 32B. Introdujeron dos divisiones de conjunto de datos para probar las capacidades de aprendizaje de por vida:

Baja Repetición: El conjunto de validación original de Plancraft con 347 tareas únicas.
Alta Repetición: Una nueva división con 107 tareas únicas repetidas en 570 ejemplos, diseñada para probar la reutilización de conocimientos.

La evaluación comparó el marco completo de How2 contra ablaciones:

Solo Preguntar: Una configuración de oráculo donde el docente responde a cada consulta sin almacenamiento de memoria (límite superior).
Solo Memoria: Uso de memoria sin análisis ni verificaciones de relevancia.
Análisis/Relevancia: Componentes individuales del marco completo.

Contribuciones Clave

El Marco How2: Una arquitectura novedosa que permite a los agentes aprender conocimiento procedimental haciendo preguntas, almacenando respuestas y reutilizándolas mediante un módulo de memoria.
Análisis de Niveles de Abstracción: Una investigación sistemática sobre cómo la granularidad de las respuestas del docente (desde ejecutables hasta no ejecutables) impacta tanto el éxito inmediato de la tarea como la reutilizabilidad a largo plazo.
Identificación de Compensaciones: La identificación de una compensación crítica entre la utilidad inmediata de una respuesta y su reutilizabilidad a largo plazo.

Resultados

Los experimentos arrojaron varios hallazgos clave:

Utilidad Inmediata vs. a Largo Plazo:
- Los docentes ejecutables lograron las tasas de éxito más altas en la configuración "Solo Preguntar" (0.59), confirmando que son más efectivos para la ejecución inmediata.
- Sin embargo, al reutilizarse en la configuración Solo Memoria, los planes ejecutables sufrieron una caída dramática en el rendimiento (de 0.58 a 0.32 en la división de alta repetición) debido a su estrecho acoplamiento con estados específicos.
- Las respuestas abstraídas (Subobjetivo-Parcialmente Ejecutable y No Ejecutable) mostraron una reutilizabilidad significativamente mayor. Su rendimiento disminuyó solo ~9% al pasar de las configuraciones "Solo Preguntar" a "Memoria".
Efectividad de la Abstracción:
- El docente Subobjetivo-Parcialmente Ejecutable superó consistentemente al docente Parcialmente Ejecutable plano, apoyando la hipótesis de que estructurar las respuestas en subobjetivos mejora la efectividad de la memoria.
- El módulo Análisis fue crucial para hacer reutilizables los planes ejecutables, mejorando su tasa de éxito en la división de alta repetición de 0.32 a 0.44.
Rendimiento del Marco Completo:
- El marco completo How2 (integrando memoria, análisis y verificaciones de relevancia) logró una tasa de éxito de 0.52 en la configuración de alta repetición.
- Crucialmente, esto se logró con una tasa de intervención un 42% menor (0.53) en comparación con el oráculo "Solo Preguntar" (0.92), demostrando que el agente reutilizó con éxito el conocimiento almacenado en lugar de consultar constantemente al docente.
- El marco permitió que los agentes que utilizan docentes No Ejecutables (que son los más difíciles de fundamentar) lograran tasas de éxito (0.53) cercanas a las de los agentes con docentes totalmente ejecutables, fundamentando efectivamente instrucciones abstractas a través de los módulos de análisis y relevancia.
Variaciones del Modelo:
- Los experimentos con el modelo de razonamiento Qwen 3 32B mostraron tendencias similares, aunque el modelo utilizó la acción de memoria con menos frecuencia. Curiosamente, el docente No Ejecutable funcionó mejor con Qwen 3, lo que sugiere que las capacidades de razonamiento pueden manejar mejor las instrucciones abstractas y no fundamentadas.

Significado y Afirmaciones

El artículo afirma que How2 proporciona un mecanismo viable para que los agentes basados en LLM mejoren sus capacidades de planificación con el tiempo en entornos interactivos sin ajuste fino. El significado principal reside en demostrar que abstraer el conocimiento de las preguntas de "cómo hacer" es esencial para un aprendizaje de por vida efectivo.

Mientras que las instrucciones directas y ejecutables son óptimas para resolver una sola instancia de una tarea, fallan al generalizar. Por el contrario, las respuestas abstraídas (subobjetivos o patrones de alto nivel), cuando se combinan con un mecanismo de análisis y verificación de relevancia, permiten a los agentes construir una base de conocimientos robusta y reutilizable. Esto reduce la dependencia de la supervisión externa (intervenciones del docente) mientras mantiene altas tasas de éxito en las tareas, cerrando efectivamente la brecha entre la resolución inmediata de problemas y la adquisición de habilidades a largo plazo. Los autores concluyen que aprender a partir de preguntas procedimentales es una estrategia poderosa para los agentes que operan en dominios interactivos restringidos.