Resumen Técnico: GRASP (Propositor de Habilidades Consciente de la Regresión con Puerta)

Enunciado del Problema

Los agentes de Modelos de Lenguaje Grande (LLM) que operan en entornos estructurados (por ejemplo, registros electrónicos de salud, bases de datos, interfaces web) fallan frecuentemente debido a violaciones operativas de las reglas del entorno y no a malentendidos conversacionales. La fiabilidad en estos contextos depende del conocimiento procedimental específico del entorno, no de la capacidad general de lenguaje.

Los métodos previos de auto-mejora suelen acumular de forma monótona guías en lenguaje natural (reflexiones, reglas o habilidades) durante la inferencia. Un defecto crítico en estos enfoques es la falta de validación frente al comportamiento existente: una nueva nota o regla que corrige una trayectoria de fallo puede silenciosamente regredir el rendimiento en trayectorias previamente correctas. Con el tiempo, esta acumulación ilimitada diluye el contenido relevante para la tarea, degrada la ventana de contexto del agente y conduce al olvido catastrófico o a un rendimiento oscilante.

Metodología: GRASP

Los autores introducen GRASP (Propositor de Habilidades Consciente de la Regresión con Puerta), un marco que trata la auto-mejora del agente como una secuencia de ediciones validadas en una biblioteca acotada de instrucciones de comportamiento (habilidades), sin actualizar los parámetros del modelo.

Componentes Principales

1. Habilidades Estructuradas: Las habilidades son documentos Markdown con cabecera YAML que contienen una condición de activación, una regla de comportamiento, un paso de verificación opcional y un ejemplo contrastivo. Se inyectan en el contexto del agente durante la inferencia.
2. Propuesta Impulsada por Fallos:
   • Las trayectorias fallidas se agrupan por modos de fallo específicos del mecanismo (por ejemplo, date_filter_omitted en lugar de wrong_answer genérico).
   • Un modelo de redacción de habilidades propone ediciones (AGREGAR, MODIFICAR o ELIMINAR) para los modos de fallo más frecuentes, utilizando resúmenes de habilidades activas y etiquetas de otros modos de fallo para desalentar las regresiones.
   • La biblioteca tiene capacidad limitada; agregar una habilidad requiere eliminar una a menos que haya capacidad disponible.
3. Selección Consciente de la Regresión (La Puerta):
   • Antes de la aceptación, cada edición candidata se evalúa en una sonda de retención equilibrada compuesta por ejemplos previamente fallidos y previamente aprobados del conjunto de desarrollo.
   • El sistema calcula una línea base ($F_0, R_0$) reejecutando la biblioteca actual en la sonda.
   • Una biblioteca candidata ($S_c$) se acepta solo si:
     1. Produce una mejora neta: $(F(c) - F_0) - (R(c) - R_0) > 0$.
     2. Respeta un presupuesto de regresión estricto: $R(c) \le R_0$ (sin nuevas regresiones más allá de la línea base existente).
   • Si el mejor candidato causa regresiones, un paso de revisión contrastiva intenta estrechar el disparador o añadir cláusulas de protección.

Protocolo de Entrenamiento

GRASP opera en lotes sobre un conjunto de desarrollo. Después de cada lote, el redactor de habilidades genera candidatos, que se puntúan en la sonda. El mejor candidato válido se aplica a la biblioteca. El proceso se repite durante múltiples épocas. No ocurren actualizaciones de parámetros; solo evoluciona la biblioteca de habilidades.

Contribuciones Clave

1. Edición con Puerta vs. Acumulación Monótona: GRASP cambia el paradigma de la acumulación ilimitada de guías a la edición acotada y validada. Esto previene el problema de la "regresión silenciosa" donde corregir un error rompe otro.
2. Validación del Mecanismo, no Solo del Contenido: Los estudios de ablación demuestran que las ganancias de rendimiento son impulsadas por la puerta de validación y la generación comparativa de propuestas, no meramente por el acto de escribir habilidades. Sin la puerta, la redacción de habilidades no rinde mejor que no usar habilidades.
3. Transferencia Transversal de Modelos y Benchmarks:
   • Transferencia Asimétrica: Las bibliotecas escritas por modelos más fuertes (por ejemplo, GPT-5.4) mejoran significativamente a ejecutores más débiles en tareas fuera de distribución (OOD), a menudo superando lo que los modelos más débiles aprenden por sí mismos. Lo inverso (de débil a fuerte) no se cumple.
   • Conocimiento Específico del Entorno: Esta asimetría sugiere que las bibliotecas codifican conocimiento procedimental específico del entorno en lugar de patrones específicos del modelo.
   • Generalización: El mecanismo mejora el rendimiento en entornos no clínicos (ALFWorld, WebShop) donde las tareas tienen una estructura verificable, pero falla en mejorar el rendimiento donde el espacio de acción es abierto (Interacción con SO).
4. Eficiencia y Auditabilidad: GRASP mantiene una biblioteca pequeña y versionada (promedio ~5 habilidades, ~5.6k tokens) que es significativamente más pequeña que las líneas base de memoria ilimitada (34k–53k tokens), reduciendo los costos de inferencia. El formato estructurado permite la auditoría humana y ediciones reversibles.

Resultados Experimentales

Los autores evaluaron GRASP en cinco modelos base (gpt-oss-120b, DeepSeek V4 Flash, Gemini 3.1 Flash Lite, GPT-4.1, GPT-5.4) en dos benchmarks clínicos basados en FHIR (MedAgentBench, MedAgentBench-v2) y cuatro entornos AgentBench no clínicos.

• Rendimiento en MedAgentBench: GRASP superó sustancialmente a cinco líneas base (incluyendo métodos basados en memoria y extracción de reglas).
  • En gpt-oss-120b, GRASP elevó la precisión de 40.6% (sin habilidades) a 88.8%, una ganancia de 48.2 puntos sobre la línea base y 21.0 puntos sobre el competidor más fuerte (Evo-MedAgent).
  • Se observaron mejoras similares en todos los modelos, con ganancias que oscilaron entre 17.2 y 40.3 puntos sobre sus respectivas líneas base.
  • En la partición OOD, GRASP logró una ventaja de 25.0 puntos sobre la mejor línea base en gpt-oss-120b.
• Hallazgos de Ablación:
  • Eliminar la puerta de aceptación causó que el rendimiento cayera al nivel de la línea base sin habilidades (40.1% vs 40.6%).
  • Eliminar el presupuesto de regresión redujo el rendimiento en 7.0 puntos.
  • La selección "solo arreglos" (ignorando ejemplos aprobados) redujo el rendimiento en 8.6 puntos y aumentó la varianza.
• Resultados de Transferencia:
  • Aplicar una biblioteca entrenada con GPT-5.4 a gpt-oss-120b mejoró la precisión OOD de 56.3% a 77.8% (+21.5 puntos).
  • La transferencia entre benchmarks funcionó entre variantes de MedAgentBench pero degradó el rendimiento en FHIR-AgentBench, lo que indica que las habilidades están vinculadas a convenciones de interfaz específicas en lugar de a la competencia clínica general.

Significado y Afirmaciones

El artículo afirma que tratar la auto-mejora del agente como edición con puerta de una biblioteca acotada ofrece un camino robusto hacia el refinamiento iterativo en entornos donde la fiabilidad procedimental es crítica.

• Fiabilidad Procedimental: El método aborda el modo de fallo específico de los métodos previos de retroalimentación verbal donde la acumulación monótona degrada el contexto.
• Destilación sin Parámetros: La transferencia transversal asimétrica sugiere que los modelos más fuertes pueden destilar hechos operativos sobre un entorno en una biblioteca que los modelos más débiles pueden seguir, incluso si no pueden generar esos hechos por sí mismos.
• Despliegue Práctico: La naturaleza acotada y auditable de la biblioteca de habilidades la hace adecuada para el despliegue en dominios de alto riesgo (como entornos clínicos) donde los agentes deben ser inspeccionables y corregibles sin un reentrenamiento completo.
• Limitaciones: Los autores señalan que el paso de validación es el costo computacional dominante. Además, las habilidades son políticas ajustadas a criterios de puntuación del benchmark (coincidencia exacta contra la verdad fundamental) en lugar de experiencia médica, requiriendo revisión clínica para el despliegue en el mundo real. El método también está limitado por los presupuestos de acción fijos de ciertos benchmarks, los cuales ningún método optimizó con éxito.

En resumen, GRASP demuestra que la edición validada es el principal impulsor de la mejora en entornos de agentes estructurados, superando a los métodos que dependen únicamente de la generación de habilidades o de la acumulación de memoria ilimitada.