Resumen Técnico: SEAM (Structured Experience Adapter Module)

1. El Problema: Limitaciones de la Experiencia en LLMs

Los Grandes Modelos de Lenguaje (LLMs) actuales son mayoritariamente estáticos. Cuando se enfrentan a problemas nuevos, tienden a razonar desde cero, repitiendo errores pasados o explorando caminos de solución ya conocidos.

Las soluciones actuales para mitigar esto suelen basarse en la Generación Aumentada por Recuperación (RAG), que utiliza una biblioteca externa de experiencias. Sin embargo, los autores identifican tres fallos críticos en este enfoque:

• Similitud $\neq$ Utilidad: La recuperación basada en RAG busca similitud semántica superficial, lo que puede introducir ruido o proporcionar información que no ayuda realmente a resolver el problema específico.
• Latencia y Sobrecarga: Mantener, indexar y consultar una biblioteca externa añade un costo computacional y de tiempo significativo.
• Falta de Adaptación al Ejecutor: Las experiencias recuperadas no están optimizadas para las capacidades o sesgos específicos del modelo que debe resolver la tarea (el "ejecutor").

2. Metodología: El Módulo SEAM

Los autores proponen SEAM (Structured Experience Adapter Module), un módulo ligero y entrenable que actúa como un "plugin" para un LLM ejecutor que permanece congelado (frozen).

A. Arquitectura Paramétrica

En lugar de una base de datos externa, SEAM codifica la experiencia directamente en sus propios parámetros. Ante un nuevo problema, SEAM realiza una única pasada hacia adelante (forward pass) para generar una entrada de experiencia estructurada bajo un esquema fijo:

1. Análisis del problema: Evaluación de la dificultad y posibles puntos de fallo.
2. Aspectos destacados de la experiencia: Estrategias y heurísticas útiles para el ejecutor.
3. Plan de referencia: Un procedimiento paso a paso que sirve como guía procedimental.

B. Proceso de Entrenamiento (Forward Learning)

El entrenamiento no busca que SEAM sea un razonador por sí mismo, sino una política de guía optimizada para el éxito del ejecutor. Utiliza un proceso de tres pasos:

1. Exploración hacia adelante: SEAM genera múltiples candidatos de experiencia para un mismo problema.
2. Evaluación basada en rollouts: El ejecutor (congelado) intenta resolver el problema usando cada candidato. Se asigna una recompensa binaria basada en si el ejecutor logra la respuesta correcta y si la guía de SEAM fue completa.
3. Evolución de la biblioteca (GRPO): Se utiliza el algoritmo GRPO (Group Relative Policy Optimization) para actualizar los parámetros de SEAM, maximizando la probabilidad de generar guías que resulten en éxitos para el ejecutor.

C. Evolución en el Despliegue

Como mejora opcional, SEAM puede seguir aprendiendo tras su despliegue mediante SFT (Supervised Fine-Tuning), utilizando los casos de éxito registrados durante su uso real.

3. Contribuciones Clave

• Cambio de Paradigma: Pasa de la "recuperación de experiencias" (RAG) a la "generación de experiencias optimizadas para la utilidad".
• Eficiencia Paramétrica: Al internalizar la experiencia en los parámetros, elimina la necesidad de búsquedas en bases de datos externas, reduciendo la latencia.
• Especialización del Ejecutor: SEAM aprende específicamente qué tipo de guía funciona mejor para un modelo determinado (ej. Qwen o DeepSeek), aprovechando sus fortalezas y evitando sus debilidades.
• Modularidad: Permite mejorar el rendimiento de un modelo potente sin necesidad de reentrenarlo (manteniéndolo congelado), lo cual es computacionalmente mucho más barato.

4. Resultados Principales

Los experimentos se realizaron en benchmarks de razonamiento matemático (GSM8K, MATH, AIME):

• Superioridad en Precisión: SEAM superó consistentemente a los modelos originales y a los métodos basados en RAG (como MEM-0 o Memento) en todos los benchmarks.
• Efectividad en Tareas Difíciles: Las mayores ganancias de precisión se observaron en problemas de alta dificultad (AIME), donde la guía procedimental es más crítica.
• Eficiencia de Tiempo: Aunque añade una pequeña latencia por la generación de la guía, SEAM mejora el "Time-to-Correct" (TTC), ya que el ejecutor llega a la solución correcta más rápido al no perderse en razonamientos erróneos.
• Generalización Cruzada: Aunque SEAM es específico para un ejecutor, demostró una capacidad notable de transferencia a otros modelos y dominios (como código o QA), aunque con una ligera degradación.

5. Significado y Conclusión

El trabajo de SEAM demuestra que la experiencia no necesita ser almacenada como un conjunto de documentos estáticos, sino que puede ser aprendida como una política de guía. Esto abre la puerta a agentes de IA que pueden "aprender de sus errores" y evolucionar de manera continua y eficiente, optimizando la interacción entre un módulo de estrategia (SEAM) y un módulo de ejecución (LLM).