Resumen Técnico: Personalización de Agentes de Modelos de Lenguaje Extensos mediante Pequeños Modelos de Política

Formulación del Problema

El artículo aborda el desafío de personalizar los agentes de Modelos de Lenguaje Extensos (LLM) para usuarios individuales sin modificar el modelo anfitrión subyacente. Aunque los agentes de LLM pueden recuperar memoria, invocar herramientas y ajustar sus estilos de respuesta, adaptar estas decisiones de ejecución a las preferencias específicas del usuario sigue siendo difícil. Los enfoques existentes enfrentan limitaciones significativas:

• Ajuste fino (Fine-tuning): Adaptar los parámetros del modelo por usuario es computacionalmente costoso y a menudo imposible para sistemas propietarios de caja negra.
• Prompts y Memoria: Estos métodos exponen la información del usuario al agente, pero no adaptan la política de ejecución del agente (por ejemplo, cuándo hacer preguntas o cuándo usar herramientas) basándose en la retroalimentación.
• Adaptación de Mecanismo Único: Los métodos recientes que adaptan solo un componente (por ejemplo, la recuperación de memoria o la selección de herramientas) no logran atribuir una señal de retroalimentación escalar única (la reacción del usuario a toda la interacción) a través del espacio conjunto de decisiones de ejecución.

La dificultad central es la retroalimentación dispersa: el sistema observa un resultado escalar solo para la combinación específica de decisiones de ejecución elegidas, mientras que el rendimiento de las combinaciones alternativas permanece sin observar. Además, el sistema debe respetar restricciones estrictas (por ejemplo, permisos, reglas de seguridad) y tratar la información de incorporación (onboarding) como evidencia previa revisable en lugar de reglas fijas.

Los autores formulan esto como un problema de aprendizaje en línea para una política de ejecución por usuario sobre un espacio de acciones factorizado, restringido por conjuntos de factibilidad externos, utilizando únicamente la retroalimentación escalar observada para la acción seleccionada.

Metodología: FABLE

Los autores proponen FABLE (Factorized Adaptive Bandit Layer for Execution), una capa de política ligera que opera fuera de un agente anfitrión que puede ser de caja negra. FABLE no requiere acceso a los pesos, gradientes o estados ocultos del anfitrión.

Componentes Clave

1. Espacio de Acciones Factorizado: Una decisión de ejecución $a$ se define como una tupla $(m, \tau, s)$ que representa el modo de memoria, el modo de adquisición de información y el comportamiento de respuesta. En lugar de aprender una política sobre el espacio conjunto completo (que es combinatoriamente grande), FABLE utiliza un mapa de características factorizado $\phi(c, a)$. Este mapa incluye efectos principales para cada componente e interacciones de pares, lo que permite que la retroalimentación de una acción conjunta actualice las preferencias de componentes relacionados (por ejemplo, un desagrado por las aclaraciones innecesarias actualiza la preferencia de "pedir aclaración" independientemente de la configuración de memoria).

2. Modelo de Preferencia Residual: El valor esperado de la retroalimentación se modela como:
   $$E[y_t | c, a] = \bar{b}(c, a) + \phi(c, a)^\top \theta^*$$
   donde $\bar{b}(c, a)$ es una puntuación predeterminada conocida menos un costo operativo, y $\theta^*$ representa la preferencia residual específica del usuario. Este enfoque permite que el sistema conserve el comportamiento genérico útil del anfitrión mientras aprende únicamente la desviación del usuario respecto a este.

3. Incorporación Revisable (Revisable Onboarding): Las preferencias del usuario proporcionadas durante la incorporación se tratan como observaciones pseudo-finitas de precisión. Estas inicializan la posterior gaussiana sobre $\theta$, pero no fijan la política. A medida que llega la retroalimentación en línea, la posterior se actualiza, permitiendo al sistema revisar las suposiciones iniciales.

4. Muestreo de Thompson con Restricción de Factibilidad:

   • Filtrado: Antes de la selección, un filtro externo elimina las acciones inadmisibles basadas en restricciones estrictas (permisos, disponibilidad de herramientas).
   • Muestreo: FABLE muestrea un parámetro residual $\tilde{\theta}_t$ de la posterior gaussiana actual (escalado por un factor calibrado $\nu_t$) y selecciona la acción $a_t$ que maximiza la puntuación esperada dentro del conjunto factible $A_t$.
   • Actualización: Tras la ejecución, la retroalimentación residual se utiliza para actualizar la posterior gaussiana mediante actualizaciones conjugadas.

5. Regla de Promoción: Las preferencias aprendidas pueden escribirse de nuevo en el anfitrión como reglas persistentes solo si una secuencia de confianza válida en cualquier momento excluye el cero, asegurando que solo las preferencias estadísticamente significativas sean promovidas.

Resultados Teóricos

El artículo establece una garantía de arrepentimiento de oráculo factible (feasible-oracle regret guarantee) para FABLE bajo un modelo de retroalimentación residual lineal.

• Límite de Arrepentimiento (Regret Bound): Con una escala de muestreo gaussiano teóricamente calibrada $\nu_t = \sqrt{9d \log(t/\delta)}$, FABLE logra un arrepentimiento de alta probabilidad de $\tilde{O}(d^{3/2}\sqrt{n})$ contra la mejor acción factible en cada ronda.
• Identificabilidad: Los autores caracterizan qué direcciones de preferencia permanecen identificables cuando las restricciones de factibilidad excluyen persistentemente ciertas acciones, señalando que las preferencias que requieren comparaciones de componentes excluidos no pueden aprenderse únicamente de datos en línea.

Evaluación Experimental

FABLE fue evaluado en un protocolo de cuatro dominios tau2-bench (Aerolíneas, Retail, Telecomunicaciones, Conocimiento Bancario) que involucra tareas de uso de herramientas ejecutables.

Hallazgos Clave

• Recompensa Personalizada y Alineación: La política completa de FABLE logró la mayor recompensa personalizada observada y la alineación de verbosidad sintética más alta entre todas las políticas probadas. Comparado con el modelo base del anfitrión, mostró ganancias significativas en recompensa personalizada (+0.077) y alineación (+0.281) con intervalos de confianza del 95% positivos.
• Éxito de la Tarea: FABLE empató con el anfitrión congelado en el mayor éxito medio de la tarea. Sin embargo, la mejora sobre el anfitrión no fue estadísticamente significativa (el IC del 95% incluyó cero). El artículo señala que el éxito de la tarea varió según el dominio (menor en Aerolíneas, empate en Retail, mayor en Telecomunicaciones y Banca).
• Estudios de Ablación:
  • Factorización: Al comparar FABLE con un LinTS de acción completa plana, la factorización mejoró significativamente la alineación, respaldando la transferencia de información a través de los componentes de acción.
  • Incorporación (Onboarding): Eliminar la incorporación resultó en la mayor caída de rendimiento, confirmando el valor de inicializar las coordenadas residuales con evidencia previa.
  • Adaptación en Línea: Comparar la versión completa de FABLE con una versión "congelada" (sin actualizaciones en línea) mostró que la adaptación en línea mejoró la alineación, aunque el éxito de la tarea se mantuvo comparable.
• Benchmarks Adicionales: Los experimentos en PAHF (Manipulación Corpórea y Compras en Línea) y Math500 (razonamiento personalizado) mostraron resultados mixtos. En Manipulación Corpórea, FABLE (completo) logró una recompensa menor (0.6214 vs. 0.6470) pero un mayor éxito (0.078 vs. 0.052) que FABLE (sin incorporación), lo que indica que el beneficio relativo de los componentes varía según el entorno. En Compras en Línea, FABLE (completo) superó a FABLE (sin incorporación) tanto en recompensa como en éxito. En Math500, FABLE (completo) y FBLE (sin incorporación) empataron en la mayor precisión, aunque FABLE (completo) tuvo una alineación menor que la línea base de "Preferencia Conocida".

Significancia y Reivindicaciones

El artículo afirma que FABLE proporciona un marco principista para personalizar agentes de caja negra congelados, tratando el control de ejecución como un problema de bandidos contextuales con restricciones. Su significancia radica en:

1. Desacoplamiento de la Personalización del Ajuste del Modelo: Permite la adaptación por usuario sin necesidad de realizar un ajuste fino del LLM anfitrión, lo que lo hace aplicable a sistemas propietarios.
2. Manejo de Retroalimentación Conjunta Dispersa: Al factorizar el espacio de acciones y modelar las preferencias residuales, aprende eficientemente de la retroalimentación escalar dispersa que evalúa la interacción completa.
3. Seguridad y Restricciones: Impone rigurosamente restricciones de factibilidad externas antes de la exploración, asegurando que la seguridad y el cumplimiento nunca se vean comprometidos por el proceso de aprendizaje.
4. Reivindicaciones Moderadas: Los autores declaran explícitamente que, si bien FABLE mejora las métricas sensibles a las preferencias (recompensa y alineación) en contextos específicos, los experimentos no establecen una mejora estadísticamente significativa en el éxito general de la tarea o en ganancias uniformes a nivel de dominio. Los resultados respaldan la adaptación controlada de la verbosidad sintética y la integración ejecutable, pero no reclaman una superioridad universal sobre todas las métricas o benchmarks; notablemente, las clasificaciones de rendimiento en PAHF variaron significamente entre entornos y condiciones de ablación.

El trabajo demuestra que una pequeña capa de política externa puede aprender y adaptarse eficazmente a las preferencias del usuario, cerrando la brecha entre las capacidades estáticas de los agentes y las necesidades dinámicas de los usuarios.