💬 NLP

MILES: Modular Instruction Memory with Learnable Selection for Self-Improving LLM Reasoning

MILES es un marco novedoso para el razonamiento de LLM con auto-mejora que expande dinámicamente una memoria modular de pares de instrucciones paso a paso y emplea un mecanismo de selección aprendible de grueso a fino para optimizar la composición de la memoria y la precisión del razonamiento bajo restricciones realistas de tiempo de ejecución.

Autores originales: Ruilin Tong, Dong Gong

Publicado 2026-07-09

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ruilin Tong, Dong Gong

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La visión general: El "Cuaderno Inteligente" para la IA

Imagina que tienes un amigo brillante pero obstinado (la IA) que es excelente resolviendo acertijos, pero tiene una memoria terrible. Cada vez que le pides un nuevo problema matemático, actúa como si nunca hubiera visto uno antes. Lo resuelve, pero si le haces una pregunta similar más tarde, tiene que empezar desde cero.

Normalmente, para hacer a este amigo más inteligente, tendrías que enviarlo de vuelta a la escuela durante años para que vuelva a aprender todo (esto se llama "entrenamiento" o actualización de los parámetros del modelo). Pero, ¿qué pasa si tu amigo es un libro cerrado al que no puedes enviar de vuelta a la escuela? No puedes cambiar su cerebro.

MILES es una nueva forma de ayudar a este amigo a volverse más inteligente mientras trabaja, sin cambiar su cerebro. Le da un cuaderno dinámico y aprendible en el que puede escribir y consultar en tiempo real.

El problema con los cuadernos antiguos

Los intentos previos de dar a la IA una "memoria" tenían dos fallos principales:

El cuaderno de la "Solución Completa": Algunos métodos almacenaban respuestas enteras a problemas pasados. Si hacías una pregunta un 90% similar a una anterior, funcionaba de maravilla. Pero si la pregunta era ligeramente diferente (un problema "novel"), la respuesta antigua era inútil. Era como intentar usar una receta de "Pastel de Manzana" para hornear un "Muffin de Arándanos".
El cuaderno "Heurístico": Otros métodos almacenaban pasos pequeños (como "dividir por 2" o "revisar las unidades"). Pero la IA tenía que adivinar qué paso usar a continuación simplemente mirando qué tan similares eran las palabras. Era como un chef agarrando un frasco de especias al azar porque la etiqueta se parecía a la que necesitaba, esperando tener suerte.

La solución de MILES: Un sistema "Modular" y "Aprendible"

MILES cambia las reglas del juego al tratar el razonamiento como un set de LEGO en lugar de un único bloque de concreto.

1. Los bloques de construcción: "Sub-objetivos" e "Sub-instrucciones"

En lugar de almacenar respuestas completas, MILES descompone los problemas en piezas diminutas y reutilizables de LEGO.

El Sub-objetivo (La Etiqueta): Una descripción corta de qué se debe hacer a continuación (por ejemplo, "Simplificar la fracción").
La Sub-instrucción (El Bloque): Un consejo específico en lenguaje natural sobre cómo hacerlo (por ejemplo, "Divide el numerador y el denominador por su máximo común divisor").

Piensa en esto como una caja de herramientas donde cada herramienta tiene una etiqueta clara.

2. El "Selector Inteligente" (La Cabeza Aprendible)

Esta es la parte mágica. En el pasado, la IA simplemente agarraba la herramienta que más se parecía al problema actual. MILES le da a la IA un asistente personal (una "cabeza de selección") para cada herramienta en la caja.

Cómo aprende: Cuando la IA resuelve un problema con confianza (obtiene la respuesta correcta), MILES mira hacia atrás a los pasos que tomó. Pregunta: "Oye, cuando usamos la herramienta 'Simplificar Fracción', ¿nos ayudó a obtener la respuesta correcta?"
El Entrenamiento: Si la respuesta es "Sí", el asistente aprende a confiar en esa herramienta para situaciones similares. Si la respuesta es "No", el asistente aprende a evitarla.
Sin necesidad de escuela: El cerebro de la IA permanece congelado. Solo estos pequeños "asistentes" (que son programas informáticos muy pequeños) se actualizan.

3. El proceso de búsqueda de dos pasos

Cuando la IA enfrenta un nuevo problema, MILES utiliza una búsqueda de "Grueso a Fino", como buscar un libro en una biblioteca:

Capa 1 (La Búsqueda Gruesa): La IA escanea rápidamente las etiquetas (Sub-objetivos) para encontrar algunas herramientas prometedoras. Es como caminar por el pasillo de "Matemáticas" y agarrar algunos libros que podrían ser relevantes.
Capa 2 (La Revisión del Experto): Los "asistentes" (cabezas de selección) toman esos pocos candidatos y les dan una puntuación basada en su experiencia previa. "Espera, esta herramienta funcionó genial para álgebra pero falló para geometría. Seleccionemos la otra".

Cómo funciona en tiempo real (El flujo de "Confianza vs. Incertidumbre")

El sistema opera en dos modos dependiendo de qué tan segura esté la IA:

El Modo "Confidente" (Fase de Aprendizaje):
Si la IA resuelve un problema fácilmente y obtiene la respuesta correcta, lo trata como una "sesión de entrenamiento". Descompone sus pasos exitosos, los guarda como nuevos bloques de LEGO en el cuaderno y le enseña a sus asistentes qué herramientas funcionaron mejor. El cuaderno se vuelve más rico con cada éxito.
El Modo "Incierto" (Fase de Ayuda):
Si la IA está atascada o insegura, deja de adivinar. Abre el cuaderno, pide consejo a sus asistentes y utiliza las mejores herramientas para guiar su pensamiento. Es como un estudiante levantando la mano para pedirle una pista al profesor cuando está trabado.

Por qué esto es importante (Los Resultados)

El artículo probó MILES en exámenes difíciles de matemáticas y ciencias (como AIME y MATH-500).

Mejor Precisión: Resolvió consistentemente más problemas correctamente que otros métodos que utilizan memoria o búsqueda.
Eficiencia: No desperdició tanta potencia de cómputo intentando adivinaciones al azar; utilizó la "memoria aprendida" para elegir el camino correcto más rápido.
Transferibilidad: El cuaderno construido por un modelo de IA pudo, de hecho, ayudar a un modelo de IA diferente a resolver problemas. Es como si un maestro chef escribiera un libro de cocina que un chef junior pudiera tomar y usar inmediatamente, incluso si nunca se hubieran conocido.

Resumen de la Analogía

Imagina que estás jugando un videojuego.

La Forma Antigua: Intentas superar cada nivel adivinando. Si mueres, reinicias.
La Forma de Memoria Anterior: Guardas una lista de "Estrategias Ganadoras" para niveles específicos. Si ves el Nivel 5, usas la estrategia del Nivel 5. Si ves el Nivel 5.1, te quedas estancado.
La Forma de MILES: Mantienes una guía de estrategia dinámica que se actualiza sola. Cuando vences un nivel, la guía escribe automáticamente exactamente qué movimiento funcionó mejor para esa situación específica. La próxima vez que enfrentes un salto difícil, la guía no solo te muestra una lista; tiene un "filtro inteligente" que dice: "Basado en tus victorias pasadas, el movimiento 'Doble Salto' tiene un 90% de probabilidad de funcionar aquí".

MILES permite que la IA acumule experiencia y se vuelva más inteligente con el tiempo, no mediante el reentrenamiento de su cerebro, sino aprendiendo a utilizar mejor su propia biblioteca creciente de consejos y trucos.

Resumen Técnico: MILES (Memoria de Instrucción Modular con Selección Aprendible)

Formulación del Problema

Los Grandes Modelos de Lenguaje (LLMs) han demostrado capacidades de razonamiento significativas mediante técnicas de computación en tiempo de prueba (test-time computation) como la Cadena de Pensamiento (Chain-of-Thought, CoT), la Autoconsistencia (Self-Consistency) y la Búsqueda en Árbol (Tree Search). Sin embargo, los enfoques existentes tratan cada problema de forma aislada. En escenarios prácticos donde los problemas llegan de forma secuencial, los modelos no logran acumular y reutilizar la experiencia a través de consultas relacionadas. Actualizar los parámetros del modelo para cada nuevo problema suele ser inviable, particularmente para modelos cerrados o congelados.

Aunque existen métodos de memoria externa, estos sufren limitaciones críticas:

Mala Generalización: Los métodos que almacenan plantillas de soluciones completas o estrategias suelen fallar cuando los nuevos problemas poseen estructuras novedosas.
Selección Heurística: Los enfoques de memoria a nivel de paso dependen típicamente de la selección heurística (por ejemplo, recuperación por similitud o prompting) en lugar de optimizar la exactitud de la respuesta final.
Restricciones de Entrenamiento: El aprendizaje de políticas de selección suele requerir conjuntos de datos etiquetados a gran escala, espacios de acción fijos o actualizaciones de parámetros, lo cual es incompatible con entornos de tiempo de prueba donde la memoria se expande incrementalmente y la supervisión es limitada.

El desafío central es organizar, mantener y reutilizar una memoria externa que mejore la precisión del razonamiento a medida que se acumula la experiencia, sin actualizar los parámetros del LLM subyacente.

Metodología: Marco de Trabajo MILES

MILES (Modular Instruction Memory with LEarnable Selection) aborda estos desafíos permitiendo la auto-mejora en tiempo de prueba mediante la acumulación y composición de módulos de razonamiento reutilizables a nivel de paso. El marco opera sobre un LLM congelado y consta de cuatro componentes principales:

1. Estructura de Memoria Asimétrica Modular

MILES almacena la memoria como una colección de unidades modulares, definidas como pares asimétricos $(g_i, u_i)$ :

Incrustación de Sub-objetivo ( $g_i$ ): Un vector denso que resume el objetivo de un paso de razonamiento. Sirve como clave de recuperación.
Sub-instrucción ( $u_i$ ): Una directiva en lenguaje natural utilizada para condicionar la generación del LLM cuando se aplica la unidad.
Cabezal de Selección: Cada unidad de memoria está asociada con un cabezal de selección ligero y aprendible ( $\pi_{\theta_a}$ ) que predice la aplicabilidad de la unidad dado el estado actual del razonamiento.

Esta estructura permite la expansión incremental; se pueden añadir nuevas unidades y sus correspondientes cabezales sin reentrenar los componentes existentes.

2. Mecanismo de Recuperación de Grueso a Fino

Para equilibrar la eficiencia de la recuperación con la precisión de la selección, MILES emplea un proceso de selección de dos capas:

Capa 1 (Recuperación de Grueso): Basada en la similitud del sub-objetivo. El LLM genera candidatos de objetivos de paso, y sus incrustaciones se comparan con los sub-objetivos almacenados mediante similitud de coseno. Un umbral efectivo por unidad filtra las unidades irrelevantes. Esta capa facilita la expansión de la memoria y la recolección de datos de entrenamiento.
Capa 2 (Puntuación de Aplicabilidad Aprendida): Un cabezal de selección aprendido puntúa la aplicabilidad de los candidatos recuperados basándose en el estado completo del razonamiento. Para manejar estados de longitud variable, MILES utiliza un libro de códigos de contexto (incrustaciones agrupadas de objetivos de pasos y condiciones pasados) para crear vectores de características de longitud fija mediante el agrupamiento de máxima similitud (max-similarity pooling).
Puntuación Combinada: La selección final combina la similitud semántica de la Capa 1 y la puntuación de aplicabilidad aprendida de la Capa 2.

3. Composición de Memoria Aprendible

MILES trata la selección de memoria como un problema de toma de decisiones secuenciales. El objetivo es maximizar la probabilidad de una respuesta final correcta.

Recolección de Datos de Entrenamiento: Para muestras "confiables" (donde múltiples ejecuciones del LLM coinciden en una respuesta), el sistema ejecuta una Búsqueda en Árbol de Monte Carlo (MCTS) utilizando el muestreo de la Capa 1. Esto genera trayectorias donde se aplican las sub-instrucciones, y la exactitud resultante sirve como una etiqueta pseudo (pseudo-label).
Optimización: Los cabezales de selección se entrenan mediante entropía cruzada binaria sobre estas trayectorias recolectadas. El objetivo aproxima una política óptima derivada bajo una restricción de divergencia KL, fomentando que los cabezales seleccionen unidades que conduzcan a respuestas correctas mientras evitan el sobreajuste mediante clasificación de uno-contra-todos y métodos de ensamble.

4. Pipeline de Inferencia

El sistema enruta las muestras de prueba basadas en la confianza:

Muestras Confiables: Se utilizan para expandir la memoria y entrenar los cabezales de selección. El LLM genera respuestas; si son consistentes, la trayectoria se utiliza para la recolección de datos de MCTS y la sumarización de la memoria.
Muestras Inciertas: Se dirigen a una búsqueda en árbol guiada por la memoria. El sistema recupera candidatos vía la Capa 1, los re-clasifica vía la Capa 2 y aplica la mejor sub-instrucción para guiar el siguiente paso de razonamiento, repitiendo el proceso hasta alcanzar una respuesta final.

Contribuciones Clave

Marco MILES: Un marco novedoso para la auto-mejora en tiempo de prueba que construye incrementalmente memoria de instrucción modular a partir de trazas de razonamiento confiables y aplica la memoria aprendida a casos inciertos sin actualizaciones de parámetros, supervisión externa o espacios de acción fijos.
Memoria Asimétrica Modular: Una estructura de pares (sub-objetivo, sub-instrucción) con cabezales de selección por elemento, que permite un mecanismo de grueso a fino que soporta tanto la expansión incremental de la memoria como la composición aprendible.
Composición de Memoria Aprendible: Un método para entrenar cabezales de selección ligeros a partir de los resultados de las ejecuciones en muestras confiables, permitiendo una composición de memoria auto-supervisada y optimizada para la exactitud bajo datos limitados de tiempo de prueba.
Validación Empírica: Experimentos extensos que demuestran que MILES iguala o supera a los métodos previos en seis benchmarks y cuatro modelos base, logiendo compromisos superiores entre exactitud y eficiencia.

Resultados Experimentales

Los autores evaluaron MILES en seis benchmarks (MATH-500, AIME 2024/2025, GPQA-Diamond, MMLU-Pro Physics/Engineering) utilizando cuatro modelos base (GPT-4.1, GPT-4.1-mini, GPT-OSS-20B, Qwen3-30B-Instruct).

Exactitud: MILES iguala o supera consistentemente a los métodos de referencia (incluyendo Zero-shot CoT, Self-Consistency, Buffer-of-Thoughts y Dynamic CheatSheet). Se observaron mejoras notables en modelos base de pesos abiertos más pequeños donde otros métodos basados en memoria no lograron superar al Zero-shot CoT.
Eficiencia: MILES domina la frontera de exactitud-vs-tokens. A diferencia de los modelos de referencia que se estancan al aumentar el cómputo, MILES continúa mejorando a medida que el presupuesto de tokens crece mediante la construcción de unidades de memoria adicionales.
Transferibilidad: El marco soporta la transferencia entre modelos. La memoria construida a partir de las ejecuciones de modelos auxiliares (por ejemplo, Qwen3-30B) mejora efectivamente el rendimiento de un modelo base congelado diferente y más fuerte (por ejemplo, GPT-4.1-mini).
Estudios de Ablación: Eliminar ya sea la capa de recuperación de grueso o el cabezal de selección aprendido degrada significamente el rendimiento, validando la necesidad del mecanismo de dos capas. Los cabezales aprendidos superan a otros re-clasificadores basados en la similitud del estado o el prompting del LLM.

Significancia y Reivindicaciones

El artículo afirma que MILES demuestra que la composición de memoria modular es un mecanismo viable y efectivo para la auto-mejora en tiempo de prueba de LLMs congelados.

Los puntos clave de significancia incluyen:

Complementariedad: El enfoque de composición de memoria paso a paso es complementario a los métodos existentes de prompting y búsqueda en tiempo de prueba, proporcionando una vía adicional de mejora a través de la experiencia acumulada.
Robustez: El método es robusto a través de diferentes familias de modelos y distribuciones de datos, y no depende de Modelos de Recompensa de Proceso (PRMs) externos o conjuntos de datos curados.
Escalabilidad: Al desacoplar la selección de memoria de la actualización de parámetros, MILES ofrece un camino para la mejora continua en entornos donde los pesos del modelo no pueden ser modificados.

Los autores concluyen que el aprendizaje de conocimiento de selección de memoria reutilizable es una dirección prometedora para construir sistemas de razonamiento que mejoren continuamente, aunque reconocen limitaciones respecto a la carga computacional de la recolección de datos basada en ejecuciones y la dependencia de las capacidades de seguimiento de instrucciones del LLM subyacente.