Resumen Técnico: FederatedSkill

Planteamiento del Problema

Los agentes de Modelos de Lenguaje de Gran Escala (LLM) modernos dependen cada vez más de bibliotecas de habilidades —colecciones de memorias procedimentales reutilizables— para manejar tareas complejas de múltiples pasos. Si bien los agentes pueden autoevolucionar mediante la evolución de estas bibliotecas basadas en trayectorias de ejecución locales, los flujos de datos de un solo usuario sufren un cuello de botella de datos: carecen de la diversidad necesaria para construir habilidades integrales para tareas de cola larga o desafiantes.

Los enfoques colaborativos existentes intentan superar esto compartiendo trayectorias de ejecución brutas entre usuarios hacia un servidor central. Sin embargo, este paradigma enfrenta dos obstáculos críticos:

1. Riesgos de Privacidad: Las trayectorias brutas suelen contener información sensible (p. ej., contenido web privado, datos confidenciales de hojas de cálculo) que los usuarios no pueden transmitir de forma segura, incluso a servidores de confianza.
2. Heterogeneidad del Cliente: Una biblioteca de habilidades global uniforme rara vez es óptima para todos los usuarios. La efectividad de una habilidad depende de la familia de modelos específica, el marco de trabajo del agente (harness) y la distribución de tareas del cliente. La agregación ingenua conduce a una biblioteca de "talla única" que desatiende a los usuarios heterogéneos.

La pregunta central abordada es: ¿Pueden los usuarios evolucionar habilidades de forma colaborativa preservando la privacidad y obteniendo una biblioteca de habilidades adaptada a sus necesidades específicas?

Metodología: FederatedSkill

Los autores proponen FederatedSkill, un marco de trabajo para la evolución de agentes preservador de la privacidad que opera como un bucle cliente-servidor. Se inspira en el aprendizaje federado, pero adapta la unidad de comunicación de los pesos del modelo a diferenciales semánticos de habilidades (skill diffs).

1. Lado del Cliente: Ejecución Local y Destilación de Parches

En lugar de subir trayectorias brutas, los clientes realizan autorreflexión y destilación local:

• Ejecución Local: El agente cliente ejecuta tareas utilizando su biblioteca de habilidades actual ($L_i$) y su modelo base ($\rho_i$), generando un lote de trayectoria ($B_i$).
• Destilación de Parches: Un parcheador local (que comparte el modelo base del cliente) analiza la trayectoria y la biblioteca actual para generar un parche de habilidad ($\delta_i$).
  • Estructura: El parche es una tupla estructurada que contiene operaciones ADD (añadir), EDIT (editar) o DELETE (eliminar) sobre los archivos de la biblioteca (p. ej., SKILL.md).
  • Privacidad por Construcción: El parcheador está explícitamente instruido para eliminar valores específicos de la tarea, IDs y registros de interacción brutos. Produce únicamente conocimiento procedimental de alto nivel y reutilizable (manuales de procedimientos o playbooks) y rutas estructurales. Los datos brutos y la información sensible permanecen estrictamente locales.
  • Salida: El cliente sube únicamente el parche $\delta_i$, el cual documenta los cambios semánticos en la biblioteca.

2. Lado del Servidor: Agente de Evolución Personalizada

El servidor aloja un Agente de Evolución ($M$) que opera bajo observabilidad parcial (solo ve parches y perfiles de clientes, no datos brutos). Trata el proceso de agregación como un Proceso de Decisión de Markov Parcialmente Observable (POMDP).

• Modelado de Capacidades: El agente mantiene una Matriz de Capacidades y una Memoria de Dos Niveles:
  • Memoria Compartida: Rastrea qué flujos de trabajo de tareas están resueltos, absorbidos, rotos o ausentes en la federación.
  • Memoria Privada: Registra modos de fallo específicos del modelo y límites de capacidad para cada cliente.
• Planificación Personalizada: En lugar de fusionar parches en un promedio global único, el agente genera un plan de evolución personalizado para cada cliente. Decide qué habilidades de pares adoptar, cómo refactorizarlas para que coincidan con el modelo/entorno (harness) del cliente objetivo, y cuáles rechazar.
• Ejecución: El agente aplica estas directivas para actualizar la biblioteca de cada cliente ($L_i^{t+1}$), asegurando que la biblioteca resultante esté adaptada a los "límites de capacidad" específicos de ese cliente.

Principales Contribuciones

1. Protocolo de Preservación de la Privacidad: El artículo introduce un mecanismo donde los agentes intercambian parches de habilidades semánticas en lugar de trayectorias brutas. Esto elimina la filtración de datos sensibles del usuario (PII, lógica de negocio confidencial) inherente a los enfoques de intercambio de trayectorias.
2. Evolución Federada Personalizada: A diferencia del aprendizaje federado tradicional (que agrega parámetros) o trabajos previos de habilidades colaborativas (que crean una única biblioteca global), FederatedSkill logra la personalización al nivel de la habilidad semántica. Modela dinámicamente la heterogeneidad del cliente para producir bibliotecas distintas y optimizadas para cada uno.
3. Implementación del Marco de Trabajo: El sistema se implementa como un bucle cliente-servidor donde el servidor actúa como un "agente de fusión" que cura y adapta las habilidades, gestionando la complejidad de diferentes modelos base (p. ej., Qwen, GLM, Kimi) y entornos de agentes (p. ej., Claude Code, Qwen Coder).

Resultados Experimentales

El marco fue evaluado en el benchmark SkillFlow, abarcando 20 familias de tareas distintas, utilizando configuraciones heterogéneas que involucran diferentes modelos base de LLM y entornos de agentes.

• Ganancias de Rendimiento: FederatedSkill supera significativamente a las líneas base de autoevolución (donde los agentes evolucionan de forma aislada).
  • Logró un aumento de hasta un 44.4% en la tasa de éxito de las tareas.
  • Demostró ganancias robustas tanto en entornos homogéneos como altamente heterogéneos (diferentes modelos y entornos).
• Eficiencia de Costos: Al evitar la hinchazón de la biblioteca (el crecimiento incontrolado de habilidades visto en la autoevolución), FederatedSkill redujo los costos computacionales.
  • Logró una reducción de hasta un 37.5% en el costo por tarea resuelta.
  • Redujo los costos de API por intento entre un 7% y un 24% en diferentes modelos.
• Necesidad de Personalización: Los estudios de ablación que compararon FederatedSkill contra una línea base "Global" (una única biblioteca compartida) mostraron que la evolución personalizada genera una ganancia de rendimiento promedio del 12.2% sobre el enfoque no personalizado, confirmando que una única biblioteca global es subóptima para clientes heterogéneos.
• Verificación de Privacidad: Una auditoría de privacidad empírica confirmó que los parches de habilidades salientes filtraron solo el 5.08% de las entidades sensibles (comparado con el 52% de los resúmenes ingenuos), y que las actualizaciones personalizadas transmitidas de vuelta a los clientes filtraron un ínfimo 0.09%.

Significado y Reivindicaciones

El artículo afirma que FederatedSkill establece la biblioteca de habilidades como una unidad de federación altamente efectiva para la auto-mejora de agentes. Su importancia radica en resolver el compromiso entre el aprendizaje colaborativo y la privacidad:

• Permite que los agentes aprendan de las experiencias colectivas de una base de usuarios diversa sin comprometer la privacidad de los datos.
• Va más allá de la limitación del "promedio global" de los marcos de trabajo colaborativos actuales, reconociendo que diferentes agentes tienen diferentes capacidades y requieren soluciones a medida.
• Demuestra que la abstracción a nivel semántico (parches) es suficiente para una transferencia de alto rendimiento, evitando los costos masivos de ancho de banda y privacidad asociados con los datos brutos o el aprendizaje federado a nivel de parámetros.

Los autores señalan limitaciones, incluyendo la suposición de un entorno de servidor de confianza (falta de defensa contra parches maliciosos o envenenados) y la restricción actual a un número modesto de clientes concurrentes debido a recursos computacionales. Sin embargo, postulan que el marco proporciona un paso fundacional hacia ecosistemas de agentes colaborativos, privados y escalables.