Resumo Técnico: FederatedSkill

Declaração do Problema

Os agentes de Grandes Modelos de Linguagem (LLMs) modernos dependem cada vez mais de bibliotecas de habilidades — coleções de memórias procedimentais reutilizáveis — para lidar com tarefas complexas e de múltiplas etapas. Embora os agentes possam se autoaperfeiçoar ao evoluir essas bibliotecas com base em trajetórias de execução locais, o fluxo de dados de um único usuário sofre de um gargalo de dados: falta a diversidade necessária para construir habilidades abrangentes para tarefas de cauda longa ou desafiadoras.

Abordagens colaborativas existentes tentam superar isso compartilhando trajetórias de execução brutas entre usuários para um servidor central. No entanto, esse paradigma enfrenta dois obstáculos críticos:

1. Riscos de Privacidade: As trajetórias brutas frequentemente contêm informações sensíveis (ex: conteúdo web privado, dados confidenciais de planilhas) que os usuários não podem transmitir com segurança, mesmo para servidores confiáveis.
2. Heterogeneidade do Cliente: Uma biblioteca de habilidades global única e uniforme raramente é ideal para todos os usuários. A eficácia de uma habilidade depende da família de modelos específica, do framework de agente (harness) e da distribuição de tarefas do cliente. A agregação ingênua leva a uma biblioteca "tamanho único" que atende insuficientemente a usuários heterogêneos.

A questão central abordada é: Podem os usuários evoluir habilidades colaborativamente preservando a privacidade e obtendo uma biblioteca de habilidades adaptada às suas necessidades específicas?

Metodologia: FederatedSkill

Os autores propõem o FederatedSkill, um framework de preservação de privacidade para a evolução colaborativa de agentes que opera como um ciclo cliente-servidor. Ele se inspira no aprendizado federado, mas adapta a unidade de comunicação dos pesos do modelo para diferenciais semânticos de habilidades (skill diffs).

1. Lado do Cliente: Execução Local e Destilação de Patch

Em vez de fazer o upload de trajetórias brutas, os clientes realizam autorreflexão e destilação locais:

• Execução Local: O agente do cliente executa tarefas usando sua biblioteca de habilidades atual ($L_i$) e seu modelo de base ($\rho_i$), gerando um lote de trajetória ($B_i$).
• Destilação de Patch: Um patcher local (compartilhando o backbone do cliente) analisa a trajetória e a biblioteca atual para gerar um patch de habilidade ($\delta_i$).
  • Estrutura: O patch é uma tupla estruturada contendo operações de ADD (adicionar), EDIT (editar) ou DELETE (deletar) nos arquivos da biblioteca (ex: SKILL.md).
  • Privacidade por Construção: O patcher é explicitamente instruído a remover valores específicos da tarefa, IDs e logs de interação bruta. Ele produz apenas conhecimento procedural reutilizável de alto nível (playbooks) e caminhos estruturais. Trajetórias brutas e dados sensíveis permanecem estritamente locais.
  • Saída: O cliente faz o upload apenas do patch $\delta_i$, que documenta as mudanças semânticas na biblioteca.

2. Lado do Servidor: Agente de Evolução Personalizado

O servidor hospeda um Agente de Evolução ($M$) que opera sob observabilidade parcial (ele vê apenas patches e perfis de clientes, não dados bros). Ele trata o processo de agregação como um Processo de Decisão de Markov Parcialmente Observável (POMDP).

• Modelagem de Capacidade: O agente mantém uma Matriz de Capacidade e uma Memória de Dois Níveis:
  • Memória Compartilhada: Rastreia quais fluxos de trabalho de tarefas foram resolvidos, absorvidos, quebrados ou estão ausentes em toda a federação.
  • Memória Privada: Registra modos de falha específicos do modelo e limites de capacidade para cada cliente.
• Planejamento Personalizado: Em vez de mesclar patches em uma média global única, o agente gera um plano de evolução personalizado para cada cliente. Ele decide quais habilidades de pares devem ser adotadas, como refatorá-las para corresponder ao modelo/harness alvo do cliente e quais devem ser rejeitadas.
• Execução: O agente aplica essas diretrizes para atualizar a biblioteca de cada cliente ($L_i^{t+1}$), garantindo que a biblioteca resultante seja adaptada aos "limites de capacidade" específicos daquele cliente.

Principais Contribuições

1. Protocolo de Preservação de Privacidade: O artigo introduz um mecanismo onde os agentes trocam patches semânticos de habilidades em vez de trajetórias brutas. Isso elimina o vazamento de dados sensíveis do usuário (PII, lógica de negócio confidencial) inerente às abordagens de compartilhamento de trajetórias.
2. Evolução Federada Personalizada: Ao contrário do aprendizado federado tradicional (que agrega parâmetros) ou de trabalhos anteriores de habilidades colaborativas (que criam uma única biblioteca global), o FederatedSkill alcança a personalização no nível da habilidade semântica. Ele modela dinamicamente a heterogeneidade do cliente para produzir bibliotecas distintas e otimizadas para cada cliente.
3. Implementação do Framework: O sistema é implementado como um ciclo cliente-servidor onde o servidor atua como um "agente de fusão" que cura e adapta habilidades, lidando com a complexidade de diferentes backbones de modelos (ex: Qwen, GLM, Kimi) e harnesses de agentes (ex: Claude Code, Qwen Coder).

Resultados Experimentais

O framework foi avaliado no benchmark SkillFlow, abrangendo 20 famílias de tarefas distintas, utilizando configurações heterogêneas envolvendo diferentes backbones de LLM e harnesses de agentes.

• Ganhos de Desempenho: O FederatedSkill supera significativamente as bases de autoevolução (onde os agentes evoluem isoladamente).
  • Alcançou um aumento de até 44,4% na taxa de sucesso de tarefas.
  • Demonstrou ganhos robustos em configurações homogêneas e altamente heterogêneas (diferentes modelos e harnesses).
• Eficiência de Custo: Ao evitar o inchaço da biblioteca (o crescimento descontrolado de habilidades visto na autoevolução), o FederatedSkill reduziu os custos computacionais.
  • Alcançou uma redução de até 37,5% no custo por tarefa resolvida.
  • Reduziu os custos de API por tentativa em 7% a 24% em diferentes modelos.
• Necessidade de Personalização: Estudos de ablação comparando o FederatedSkill contra uma base "Global" (biblioteca única compartilhada) mostraram que a evolução personalizada gera um ganho de desempenho médio de 12,2% sobre a abordagem não personalizada, confirmando que uma biblioteca global única é suboptimal para clientes heterogêneos.
• Verificação de Privacidade: Uma auditoria de privacidade empírica confirmou que os patches de habilidade de saída vazaram apenas 5,08% de entidades sensíveis (comparado a 52% para resumos ingênuos), e as atualizações personalizadas transmitidas de volta aos clientes vazaram um ínfimo 0,09%.

Significância e Alegações

O artigo afirma que o FederatedSkill estabelece a biblioteca de habilidades como uma unidade altamente eficaz de federação para o autoaperfeiçoamento de agentes. Sua significância reside na resolução do conflito entre aprendizado colaborativo e privacidade:

• Permite que os agentes aprendam com as experiências coletivas de uma base de usuários diversa sem comprometer a privacidade dos dados.
• Vai além da limitação da "média global" dos atuais frameworks colaborativos, reconhecendo que diferentes agentes possuem diferentes capacidades e exigem soluções customizadas.
• Demonstra que a abstração ao nível semântico (patches) é suficiente para transferência de alto desempenho, evitando os enormes custos de largura de banda e privacidade associados a dados brutos ou aprendizado federado ao nível de parâmetros.

Os autores observam limitações, incluindo a suposição de um ambiente de servidor confiável (falta de defesa contra patches maliciosos/envenenados) e a restrição atual a um número modesto de clientes simultâneos devido a recursos computacionais. No entanto, eles sustentam que o framework fornece um passo fundamental em direção a ecossistemas de agentes colaborativos, escaláveis e com preservação de privacidade.