🤖 AI

Learning on the Job: Continual Learning from Deployment Feedback for Frozen-Weights Agents

Este artículo demuestra que los agentes de IA de pesos congelados pueden lograr mejoras significativas en el aprendizaje continuo al emparejar sus modelos estáticos con un sistema de memoria externa que destila la retroalimentación del despliegue en reglas de lenguaje natural recuperables, permitiéndoles así resolver tareas previamente intratables sin el reentrenamiento del modelo.

Autores originales: Valentin Tablan, Scott Taylor, Kristoffer Bernhem

Publicado 2026-07-27

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Valentin Tablan, Scott Taylor, Kristoffer Bernhem

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde cada vez que intentas resolver un acertijo, olvidas las reglas en el momento en que el cronómetro se detiene. Si resolvieras un problema matemático difícil hoy, empezarías de cero mañana, incluso si el problema fuera exactamente el mismo. Esta es la realidad actual para muchos agentes de inteligencia artificial (IA). Están construidos sobre cerebros "congelados": modelos potentes que se fijan en piedra cuando se lanzan. No pueden aprender de sus errores en tiempo real porque cambiar el cableado de su cerebro es costoso, arriesgado y lento. Sin embargo, en el mundo real, estos agentes reciben retroalimentación constantemente. Un cliente podría decir: "¡Eso funcionó!", o un humano podría corregir un error y decir: "Así es como se hace". La gran pregunta que los científicos se plantean es: ¿Podemos enseñar a estos agentes de cerebro congelado a volverse más inteligentes simplemente leyendo una "hoja de trucos" de sus propias experiencias pasadas, sin llegar a cambiar nunca su cerebro?

Este artículo, titulado "Aprendiendo sobre la marcha" (Learning on the Job), explora un ingenioso método alternativo. En lugar de intentar recablear el cerebro de la IA, los investigadores le dieron al agente un cuaderno externo: un sistema de memoria. Cuando el agente termina una tarea, observa el resultado (¿ganó o perdió?) y escribe una regla breve en lenguaje natural en este cuaderno. Por ejemplo: "Si el cliente pide un reembolso, verifique la fecha primero". Más tarde, cuando el agente se enfrenta a una situación similar, consulta su cuaderno antes de actuar. El estudio se probó en una simulación bancaria donde la IA tenía que navegar por reglas complejas para ayudar a los clientes. Descubrieron que, con solo leer sus propias notas, los agentes mejoraron significativamente en sus trabajos. Un agente que aprendió solo de una señal de "victoria/derrota" mejoró su tasa de éxito 1.6 veces, mientras que uno que aprendió de correcciones detalladas mejoró 2.6 veces. Aún más genial, las notas escritas por un tipo de IA fueron útiles para un tipo de IA completamente diferente, demostrando que esta "experiencia" podía compartirse como un libro de una biblioteca.

El Problema: La Amnesia de la IA

Piensa en los agentes de IA más avanzados de hoy como pasantes increíblemente talentosos pero increíblemente olvidadizos. Los contratas, se les entrega una enorme biblioteca de libros de políticas (unos 700 documentos en este estudio) para que los consulten, e intentan ayudar a un cliente. Si resuelven un problema difícil, ¡genial! Pero en el momento en que termina la conversación, su memoria a corto plazo se borra por completo. Si ese mismo cliente difícil vuelve a llamar mañana, el agente no tiene idea de lo que sucedió ayer. Tiene que empezar desde cero.

La razón de esta amnesia es arquitectónica. Estos agentes funcionan con modelos de "pesos congelados". Imagina el cerebro del modelo como una escultura gigante e intrincada hecha de arcilla. Una vez que la escultura se hornea y se endurece (se despliega), no puedes quitar trozos ni añadir nueva arcilla sin derretir todo el conjunto y empezar de nuevo. Derretirlo es peligroso (podría olvidar todo lo que ya sabía) y costoso. Por lo tanto, en el mundo real, estos agentes permanecen congelados. Son tan capaces en su último día de trabajo como en el primero.

La Solución: El Cuaderno Externo

Los investigadores se preguntaron: ¿Y si el agente no necesitara cambiar su cerebro para aprender? ¿Y si solo necesitara un cuaderno?

Emparejaron a la IA congelada con un sistema llamado Spark. Piensa en Spark como una biblioteca mágica y compartida donde el agente puede escribir y leer notas. Cuando un agente termina una tarea, no desecha la experiencia. En su lugar, reflexiona sobre lo sucedido y escribe una "regla" en la biblioteca.

El Modo "Experiencia": El agente recibe un simple pulgar arriba o abajo (un veredicto de un bit). Tiene que deducir la lección por sí mismo. "Intenté hacer X y fallé. Debo evitar X la próxima vez".
El Modo "Instrucción": El agente recibe el pulgar abajo más la respuesta correcta. "Intenté X y fallé. La forma correcta es Y".

El agente escribe estas lecciones como reglas simples de lenguaje natural, como "Cuando un cliente solicite una transferencia, siempre verifique el límite diario primero". Estas reglas se almacenan en la biblioteca Spark. La próxima vez que el agente se enfrenta a un cliente, busca en la biblioteca las reglas pertinentes antes de actuar.

El Experimento: Apostando a la Memoria

Para probar esto, el equipo utilizó un exigente banco de pruebas bancario llamado τ-bench. Imagina un videojuego donde la IA juega de cajero de banco. Los "clientes" son simulados por otras IA, y tienen objetivos ocultos y peticiones complicadas. El agente tiene que descifrar las reglas del banco buscando en una enorme pila de documentos de políticas. Es difícil; incluso los mejores modelos de IA solo resuelven alrededor del 25% de estas tareas en su primer intento.

Los investigadores realizaron el experimento con dos modelos de IA diferentes:

Mistral Large: Un modelo potente de código abierto que las empresas podrían ejecutar en sus propios servidores.
Claude Sonnet 5: Un modelo de vanguardia de primer nivel.

Probaron tres escenarios para cada modelo:

La Línea Base (Baseline): El agente tiene la biblioteca de políticas pero no tiene memoria. Olvida todo entre intentos.
Experiencia: El agente tiene la biblioteca y un cuaderno de memoria, pero solo aprende de una señal simple de "victoria/derrota".
Instrucción: El agente tiene la biblioteca, un cuaderno de memoria y aprende de la señal de "victoria/derrota" más la solución correcta tras un fallo.

Los Resultados: De Cero a Héroe

Los resultados fueron impactantes. Los agentes que utilizaron el cuaderno de memoria mejoraron mucho en sus trabajos, y lo hicieron sin cambiar ni una sola neurona en sus cerebros congelados.

El Poder de las Correcciones: Para el modelo Mistral Large, el grupo de "Instrucción" (que aprende de las correcciones) resolvió 2.6 veces más tareas en el primer intento en comparación con la línea base. Lograron resolver 22 de 84 tareas que el agente de la línea base nunca resolvió, sin importar cuántas veces lo intentara.
El Poder de la Experiencia: Incluso aprender de una simple señal de "victoria/derrota" ayudó. El grupo de "Experiencia" mejoró 1.6 veces respecto a la línea base.
La Curva de Aprendizaje: Al principio, todos los agentes eran igual de malos porque los cuadernos estaban vacíos. Pero a medida que avanzaban los ensayos, los agentes con cuadernos se volvían más inteligentes. El agente de la línea base se mantuvo plano, mientras que los agentes con aprendizaje subieron más con cada intento.
Magia entre Modelos: Los investigadores hicieron algo muy interesante. Tomaron el cuaderno construido por el modelo Mistral Large y se lo dieron al modelo Claude Sonnet 5 para que lo leyera (y viceversa). Aunque eran modelos diferentes, ¡las notas fueron útiles! El modelo Mistral, al leer las notas de Claude, mejoró significamente su tasa de éxito. Esto demuestra que el conocimiento almacenado en el cuaderno no era solo el "estilo de Mistral"; era conocimiento general y útil que cualquier agente podía usar.

Por qué esto es importante

Este artículo sugiere una nueva forma de hacer que la IA sea más inteligente sin el enorme costo y riesgo de reentrenarla. En lugar de intentar derretir y remodelar el cerebro de la IA, podemos simplemente darle una mejor forma de recordar.

El estudio también descartó algunas ideas. Por ejemplo, comprobaron si los agentes solo estaban "almacenando en caché" respuestas (memorizando la solución exacta a un rompecabezas específico). Descubrieron que no era el caso. Los agentes estaban aprendiendo reglas (como "verificar la fecha") que les ayudaban a resolver nuevas variaciones del problema. También demostraron que este aprendizaje no hacía que los agentes fueran peores en las cosas en las que ya eran buenos; conservaron sus habilidades antiguas mientras adquirían nuevas.

En resumen, esta investigación muestra que para los agentes de IA congelados, la retroalimentación que reciben cada día —ya sea un simple "buen trabajo" o una corrección detallada— es suficiente para convertirlos en aprendices de por vida, siempre que tengan un lugar donde anotar lo aprendido. Convierte la experiencia de un solo agente en un activo organizacional compartido, haciendo que todo el sistema sea más inteligente, nota a nota.

Resumen Técnico: Aprendizaje en el Puesto para Agentes de Pesos Congelados

Declaración del Problema

Los despliegues actuales de agentes de IA dependen de modelos fundacionales con pesos congelados, lo que significa que los agentes descartan casi todas las oportunidades de aprendizaje después de cada episodio. Cuando se repite una solicitud difícil, el agente comienza desde cero. Si bien la actualización de pesos ofrece una ruta clásica para el aprendizaje continuo, esta incurre en costos prohibitivos en cuanto a infraestructura, el riesgo de olvido catastrófico y la necesidad de nuevas evaluaciones de seguridad. En consecuencia, los agentes desplegados suelen permanecer tan capaces en su último día como en el primero.

Los despliegues en el mundo real suelen generar señales de supervisión —como veredictos de resultados (éxito/fallo) o correcciones post-hoc (resoluciones verificadas)— sin embargo, estas señales rara vez se utilizan para el aprendizaje. Este artículo investiga si estas señales de retroalimentación ordinarias son suficientes para permitir el aprendizaje continuo sin modificar los pesos del modelo, al emparejar al agente congelado con un sistema de memoria externa.

Metodología

El Sistema de Memoria Spark

El estudio utiliza Spark, un servicio de memoria compartida para agentes de IA.

Unidad de Conocimiento: Los conocimientos se almacenan como declaraciones de lenguaje natural compactas (reglas, procedimientos, advertencias) con un título, contenido y una consulta de recuperación formulada como una pregunta que un agente futuro haría.
Ciclo de Vida: Las contribuciones pasan por un proceso de curación autónoma que incluye filtrado de seguridad, puertas de calidad y deduplicación. El sistema admite la poda continua y la síntesis de nuevos conocimientos a partir de grupos de elementos relacionados.
Interacción: Los agentes interactúan mediante cuatro llamadas: search (buscar), create_memory (crear memoria), enrich_memory (enriquecer memoria) y share_feedback (compartir retroalimentación). El sistema opera en un ciclo de lectura-contribución-retroalimentación, donde la retroalimentación actualiza las estimaciones de confianza para influir en el ranking de recuperación.

Configuración Experimental

Los experimentos se llevan a cabo en el dominio $\tau$ -Banking de $\tau$ -bench, un benchmark intensivo en conocimiento que involucra conversaciones de múltiples turnos con clientes simulados.

Dificultad de la Tarea: Los agentes deben descubrir reglas de negocio y herramientas buscando en un corpus de aproximadamente 700 documentos de políticas mediante recuperación dispersa BM25. El benchmark es determinista, con el éxito definido por si el estado final de la base de datos coincide con una verdad fundamental (ground truth).
Modelos: Dos modelos abarcan el espectro de despliegue: Mistral Large (pesos abiertos, auto-alojable) y Claude Sonnet 5 (modelo de frontera).
Protocolo: Cada tarea se ejecuta en $k=4$ ensayos independientes. El almacén de memoria comienza vacío y permanece activo a través de los ensayos para una sola tarea, permitiendo que las lecciones del ensayo $t$ influyan en el ensayo $t+1$ .

Condiciones

Se comparan tres condiciones:

Línea Base Sin Memoria (No-memory Baseline): Un control RAG estático que recupera sobre el corpus de políticas completo sin memoria entre ensayos.
Experiencia (Experience): El agente aprende de un veredicto de resultado de un solo bit (éxito/fallo). En caso de fallo, debe destilar sus propias lecciones (reglas de evitación) sin acceso a la solución correcta.
Instrucción (Instruction): El agente aprende del veredicto más una secuencia de acciones verificada (corrección) entregada después de un episodio fallido. Esto permite al agente escribir la regla correcta en la memoria.

Métricas

$pass^k$ : La métrica estándar del benchmark que requiere que una tarea se resuelva en todos los $k$ ensayos.
Tasa de éxito por ensayo: La tasa de éxito agrupada en función del índice del ensayo.
Tasa de retención (Hold rate): La probabilidad de que una tarea que pasó en el ensayo $t$ sea pasada nuevamente en $t+1$ , midiendo la retención del conocimiento.
Conversión: La tasa en la que las tareas en el "estrato del suelo" (tareas que la línea base nunca resuelve) son resueltas por las condiciones de aprendizaje.

Resultados Clave

Rendimiento de Aprendizaje Continuo

Mistral Large:
- Instrucción elevó el éxito de un solo ensayo ( $pass^1$ ) a 0.170, lo cual es 2.6 $\times$ la línea base (0.064) y 1.6 $\times$ la condición de Experiencia (0.103).
- Experiencia por sí sola elevó el $pass^1$ a 0.103 (1.6 $\times$ la línea base).
- Conversión: Instrucción convirtió 22 de las 84 tareas que la línea base nunca resolvió. Experiencia convirtió 5.
- Retención: Experiencia mantuvo las soluciones acumuladas a una tasa de 0.88, mientras que Instrucción las mantuvo a 0.65.
Claude Sonnet 5:
- Replicó la tendencia en un modelo más fuerte. Instrucción elevó el $pass^1$ de 0.248 (línea base) a 0.397.
- Convirtió 28 de las 57 tareas que la línea base nunca resolvió.
- La curva de aprendizaje mostró un aumento monotónico en las tasas de éxito a través de los ensayos para las condiciones de aprendizaje, mientras que la línea base se mantuvo plana.

Transferencia entre Modelos

El estudio probó si la memoria construida por un modelo podía beneficiar a otro mediante la congelación de los almacenes y haciendo que el otro modelo los lea (solo lectura).

Mistral Large leyendo el almacén construido por Claude Sonnet 5 mejoró el $pass^1$ de 0.064 a 0.289 (+0.224).
Claude Sonnet 5 leyendo el almacén construido por Mistral Large mejoró el $pass^1$ de 0.248 a 0.314 (+0.066).
Significancia: La transferencia fue efectiva en ambas direcciones, incluyendo la transferencia "ascendente" donde las reglas del modelo más débil ayudaron al modelo más fuerte. Condicionado a una tarea transferible (no resuelta por el consumidor pero resuelta por el productor), las tasas de conversión fueron aproximadamente del 31% en ambas direcciones.

Significancia y Reivindicaciones

El artículo reivindica tres contribuciones primarias:

Suficiencia de la Retroalimentación Post-Episodio: El estudio demuestra que la retroalimentación ordinaria de despliegue (veredictos de resultados y correcciones) es una señal suficiente para el aprendizaje continuo. Un agente puede elevar su rendimiento significativamente (hasta 2.6 $\times$ ) sin actualizaciones de pesos, siempre que esté emparejado con una memoria externa que destile los episodios en reglas recuperables.
Transferibilidad de la Memoria Acumulada: Los almacenes de memoria acumulados son portátiles entre diferentes modelos. Un almacén congelado construido por un modelo puede mejorar el rendimiento de un modelo diferente, convirtiendo la experiencia individual del agente en conocimiento organizacional independiente del modelo.
Protocolo de Medición Reutilizable: El artículo introduce un protocolo para medir el aprendizaje continuo en agentes de pesos congelados, distinguiendo entre el éxito de la tarea, la fiabilidad a través de los ensayos y la retención del conocimiento (tasa de retención), publicado junto con el harness y los datos.

Los autores enfatizan que los resultados abordan el régimen específico donde el conocimiento que el modelo carece es decisivo. El efecto de aprendizaje ocurre entre ensayos, impulsado únicamente por el almacén de memoria, y el conocimiento acumulado se transfiere efectivamente, lo que sugiere que la memoria externa puede servir como una alternativa viable a las actualizaciones de pesos para muchos despliegues empresariales. El artículo señala explícitamente que no se midió la generalización a tipos de tareas no vistas; el enfoque es en situaciones recurrentes en el despliegue.