Adaptation of Agentic AI: A Survey of Post-Training, Memory, and Skills

Esta encuesta propone un marco unificado de cuatro paradigmas para estudiar la adaptación de agentes de IA tras el preentrenamiento, abarcando tanto la mejora del propio agente como la de sus herramientas, memorias y habilidades, con el fin de analizar métodos, comparar compensaciones y resumir prácticas de evaluación en diversos dominios.

Lo esencial

¡Claro que sí! Imagina que la Inteligencia Artificial (IA) es como un genio muy inteligente que vive en una caja de cristal. Este genio (el modelo de lenguaje) sabe mucho, pero a veces se queda atascado porque no puede salir de la caja para tocar cosas reales, ni tiene herramientas para resolver problemas complejos.

Este artículo es como un manual de instrucciones para enseñarle a ese genio a salir de la caja, usar herramientas y aprender de sus errores sin tener que reescribir todo su cerebro cada vez.

Los autores proponen que hay cuatro formas principales de mejorar a este agente de IA. Para entenderlo, vamos a usar una analogía: imagina que el agente es un detective y su trabajo es resolver casos (tareas).

Los 4 Métodos para Mejorar al Detective

El artículo divide las mejoras en dos categorías: ¿Mejoramos al detective mismo o mejoramos sus herramientas? Y luego, ¿qué señal usamos para saber si lo estamos haciendo bien?

1. A1: El Detective que aprende de los "Resultados Directos"

• La analogía: Imagina que el detective usa una pistola de prueba (una herramienta). Si dispara y da en el blanco, ¡bien! Si falla, ¡mal!
• Cómo funciona: El detective usa herramientas (como un motor de búsqueda o un compilador de código) y recibe una respuesta inmediata y verificable. Si el código funciona o la búsqueda encuentra el documento exacto, el detective recibe un "premio".
• Ejemplo: Un detective que busca información en internet. Si la búsqueda le da el artículo correcto, aprende a buscar mejor la próxima vez.
• Ventaja: Aprende muy rápido porque la señal es clara (sí/no, éxito/fracaso).
• Desventaja: Solo aprende a usar esa herramienta específica, no necesariamente a pensar mejor en general.

2. A2: El Detective que aprende de la "Solución Final"

• La analogía: El detective no se preocupa tanto por si usó la pistola bien o mal, sino por si resolvió el caso al final.
• Cómo funciona: El detective usa herramientas, pero la evaluación es global: "¿Encontraste al culpable?". Si la respuesta final es correcta, recibe un premio, aunque haya tardado mucho o usado muchas herramientas.
• Ejemplo: Un detective que debe escribir un informe completo. No importa si buscó mal un dato al principio, si el informe final es perfecto, ¡ganó!
• Ventaja: Aprende estrategias complejas y a coordinar muchas herramientas a la vez.
• Desventaja: Es más difícil aprender porque a veces el detective adivina la respuesta correcta por suerte, sin saber realmente por qué funcionó.

3. T1: Las Herramientas "Mágicas" (Agnósticas)

• La analogía: En lugar de entrenar al detective, mejoramos sus herramientas para que sean mejores para cualquier detective.
• Cómo funciona: Entrenamos un buscador, un traductor o un analista de datos de forma independiente. Luego, le damos esa herramienta "supermejorada" a cualquier detective que la necesite.
• Ejemplo: Comprar una lupa de alta tecnología que cualquier policía puede usar. No importa quién sea el detective, la lupa siempre funciona mejor.
• Ventaja: Es barato y reutilizable. No tienes que entrenar al detective de nuevo.

4. T2: Las Herramientas "Personalizadas" (Supervisadas por el Detective)

• La analogía: Aquí es donde ocurre la magia. El detective es el jefe y entrena a sus ayudantes (las herramientas) para que le sirvan específicamente a él.
• Cómo funciona: El detective (que es fijo y no cambia) le dice a su ayudante (una herramienta pequeña): "Oye, cuando busques esto, hazlo así porque a mí me gusta leerlo de esa forma". El ayudante aprende a adaptarse a los gustos y necesidades del detective.
• Ejemplo: Un detective muy estricto entrena a su asistente para que le resuma los documentos de una forma muy específica. El asistente aprende a ser perfecto para ese detective en particular.
• Ventaja: Es extremadamente eficiente. El detective no necesita cambiar su cerebro; solo cambia sus herramientas para que trabajen mejor con él.

---

¿Por qué es importante esto? (El Gran Mapa)

Los autores dicen que antes, la gente intentaba mejorar a los agentes de IA de forma desordenada. A veces querían cambiar el cerebro del detective, a veces sus herramientas, y no sabían qué método usar.

Este artículo crea un mapa (un cuadrado de 2x2) para que los ingenieros sepan qué camino tomar:

1. ¿Quieres que el detective sea un maestro de una herramienta específica? Usa A1 (como entrenar a un programador para que escriba código perfecto).
2. ¿Quieres que el detective resuelva problemas complejos y creativos? Usa A2 (como entrenar a un investigador para que escriba novelas).
3. ¿Quieres crear herramientas que sirvan a todos? Usa T1 (como crear un nuevo tipo de martillo).
4. ¿Quieres que un detective existente sea más eficiente sin reentrenarlo? Usa T2 (como darle un nuevo asistente personalizado).

El secreto mejor guardado: La "Graduación"

El artículo menciona algo fascinante: Las herramientas pueden convertirse en detectives y viceversa.

• Si entrenas mucho a un detective para que sea un experto en búsquedas (A1), puedes "congelarlo" y usarlo como una herramienta (T1) para otros detectives.
• Es como si un detective se retirara y se convirtiera en un manual de instrucciones que todos pueden consultar.

Conclusión en una frase

En lugar de intentar hacer un detective "perfecto" que lo sepa todo (lo cual es caro y difícil), la mejor estrategia del futuro es tener un detective central inteligente rodeado de un equipo de herramientas especializadas que aprenden constantemente a trabajar mejor con él.

Es como pasar de tener un solo superhéroe a tener un equipo de Avengers donde cada uno es experto en su área, pero todos se coordinan perfectamente gracias a un líder que sabe cómo dirigirlos.

Resumen técnico

Resumen Técnico: Adaptación de la IA Agéntica

1. El Problema

Los sistemas de Inteligencia Artificial Agéntica (basados en Modelos de Lenguaje Grande o LLM) han avanzado más allá del simple prompting. Sin embargo, los sistemas actuales enfrentan limitaciones críticas: uso poco fiable de herramientas, planificación a largo plazo superficial, brechas en el razonamiento específico de dominio y una pobre generalización en entornos nuevos.

El problema central que aborda este trabajo es la fragmentación de la investigación. Actualmente, los métodos para mejorar los agentes se estudian de forma aislada en áreas como el entrenamiento posterior (post-training), la recuperación de información (retrieval), los sistemas de memoria y las bibliotecas de habilidades. No existe un marco unificado que organice cómo y cuándo adaptar un agente, sus herramientas o su interacción para mejorar el rendimiento tras el pre-entrenamiento inicial.

2. Metodología y Marco Conceptual

Los autores proponen un marco unificado de cuatro paradigmas para clasificar y analizar la adaptación de la IA agéntica. Este marco se basa en dos dimensiones ortogonales:

1. Objetivo de la Adaptación: ¿Qué se está optimizando? (El Agente o la Herramienta).
2. Fuente de la Señal de Adaptación: ¿Cómo se obtiene la retroalimentación? (Resultados de la ejecución de herramientas o Evaluación de la salida del agente).

Esto genera cuatro paradigmas distintivos (A1, A2, T1, T2):

• A1: Adaptación del Agente Señalada por la Ejecución de Herramientas (Tool Execution Signaled)

  • Mecanismo: El agente se optimiza utilizando señales verificables derivadas de los resultados de las herramientas que invoca (ej. éxito de compilación de código, precisión de recuperación, verificación de pruebas formales).
  • Técnicas: Supervised Fine-Tuning (SFT) y Aprendizaje por Refuerzo con Recompensas Verificables (RLVR).
  • Ejemplos: DeepSeek-R1 (código), DeepRetrieval (búsqueda).
  • Ventaja: Señales densas y causales que permiten un aprendizaje preciso de la mecánica de uso de herramientas.

• A2: Adaptación del Agente Señalada por la Salida del Agente (Agent Output Signaled)

  • Mecanismo: El agente se optimiza basándose en la evaluación de su respuesta final o cadena de razonamiento, independientemente de los pasos intermedios de las herramientas.
  • Técnicas: SFT y RL basados en la calidad de la respuesta final (ej. exactitud en preguntas de respuesta múltiple).
  • Ejemplos: Search-R1, ReSearch.
  • Desafío: La asignación de crédito es difícil (¿falló el razonamiento o la herramienta?) y las recompensas son más dispersas.

• T1: Adaptación de Herramientas Agnóstica al Agente (Agent-Agnostic)

  • Mecanismo: Las herramientas (retrievers, modelos especializados) se entrenan de forma independiente, sin referencia a un agente específico. Son módulos "plug-and-play".
  • Ejemplos: Modelos de recuperación densa pre-entrenados (DPR), AlphaFold2.
  • Ventaja: Alta reutilización y bajo costo de integración.

• T2: Adaptación de Herramientas Supervisada por el Agente (Agent-Supervised)

  • Mecanismo: El agente principal permanece congelado (frozen), y las herramientas (subagentes, módulos de memoria, reordenadores) se adaptan utilizando señales derivadas de las salidas del agente congelado.
  • Ejemplos: s3 (subagente de búsqueda entrenado con retroalimentación de un LLM congelado), Mem-α (gestión de memoria).
  • Ventaja: Alta eficiencia de datos y evita el olvido catastrófico en el modelo base.

3. Contribuciones Clave

1. Taxonomía Unificada (2x2): El marco A1/A2/T1/T2 proporciona una estructura clara para navegar la literatura, revelando compensaciones (trade-offs) en costo, flexibilidad y generalización.
2. Tratamiento Sistemático de Memoria y Habilidades: Demuestran cómo los sistemas de memoria adaptativa (búferes episódicos, bases de datos reflexivas) y las bibliotecas de habilidades encajan naturalmente en el paradigma T2, actuando como herramientas que evolucionan bajo la supervisión del agente.
3. Análisis de Eficiencia de Datos: Presentan evidencia empírica de que los métodos T2 pueden igualar o superar el rendimiento de los métodos A2 (entrenamiento de agente completo) utilizando órdenes de magnitud menos datos (ej. s3 logra rendimiento comparable a Search-R1 con 70 veces menos ejemplos de entrenamiento).
4. Marco de Evaluación Multidimensional: Critican las métricas estáticas actuales y proponen evaluar no solo la precisión final, sino también la eficiencia de la adaptación, la estabilidad dinámica (olvido catastrófico), la seguridad y la alineación.
5. Mapeo de Aplicaciones: Analizan cómo diferentes dominios (Investigación Profunda, Desarrollo de Software, Uso de Computadoras, Descubrimiento de Fármacos) favorecen paradigmas específicos según la disponibilidad de señales verificables.

4. Resultados y Hallazgos Empíricos

• Densidad de la Señal: Los métodos A1 (señales de ejecución) son superiores en dominios con feedback determinista y denso (código, pruebas formales, SQL), permitiendo un aprendizaje rápido y estable.
• Estrategia vs. Mecánica: Los métodos A2 son necesarios para optimizar estrategias holísticas (cuándo usar una herramienta, cómo integrar información), pero son costosos y propensos al olvido catastrófico.
• Eficiencia de T2: La adaptación de herramientas bajo supervisión de un agente congelado (T2) es significativamente más eficiente en datos y computación que reentrenar el agente completo (A2). En tareas de recuperación de información, T2 logra mejoras de rendimiento similares a A2 con una fracción del costo.
• Ciclo de "Graduación": Se identifica un ciclo de vida donde agentes entrenados bajo A1/A2 pueden congelarse y reutilizarse como herramientas T1 ("subagentes graduados"), enriqueciendo el ecosistema de herramientas.
• Evaluación: Las métricas actuales a menudo ocultan fallos dinámicos. Se requiere una evaluación que distinga entre la calidad de la ejecución de herramientas (A1) y la utilidad holística (A2), y que monitoree la estabilidad durante el aprendizaje continuo.

5. Significado e Impacto

Este trabajo es fundamental porque descentraliza la visión de la adaptación de la IA. En lugar de centrarse únicamente en hacer el modelo base más inteligente (A1/A2), propone que el futuro de los sistemas agénticos robustos y escalables reside en ecosistemas modulares donde un núcleo de razonamiento estable (agente congelado) coordina un conjunto dinámico de herramientas especializadas y memorias adaptativas (T1/T2).

Implicaciones Futuras:

• Co-adaptación: El siguiente paso es desarrollar marcos donde el agente y las herramientas se adapten simultáneamente, resolviendo problemas de asignación de crédito y estabilidad en dinámicas no estacionarias.
• Seguridad: La adaptación dinámica introduce nuevos riesgos (exploración insegura, reward hacking), requiriendo nuevas estrategias de mitigación.
• Eficiencia: La tendencia hacia la adaptación eficiente (T2, LoRA, adaptación en el dispositivo) es crucial para la implementación en entornos con recursos limitados.

En resumen, el artículo establece que la evolución de la IA agéntica no depende de un único modelo monolítico, sino de la orquestación principista de núcleos de razonamiento estables junto con un ecosistema evolutivo de herramientas y memorias especializadas.