Resumo Técnico: SkillEvo – Gradientes de Evolução de Autorenovação a partir de Feedback de Interação de Múltiplos Turnos

1. Declaração do Problema

As habilidades atuais de Agentes — módulos portáteis que encapsulam conhecimento de domínio e procedimentos de manipulação — são predominantemente escritas à mão ou geradas em uma única passagem de LLM. Consequentemente, elas carecem de um mecanismo de ciclo fechado para melhorar a partir das falhas de interação que causam. Embora trabalhos recentes tenham tentado fechar esse ciclo, eles dependem da avaliação de perguntas e respostas (QA) de turno único. Essa abordagem cria uma assimetria acentuada: uma vez que a primeira rodada corrige as lacunas visíveis em uma única troca, o gradiente de evolução decai. Defeitos que só surgem ao longo de múltiplos turnos permanecem invisíveis, causando a estagnação da evolução.

Além disso, os mecanismos de governança existentes dependem de uma pontuação de verificação escalar de ponta a ponta. Embora essa pontuação possa rejeitar um candidato degradado, ela não consegue localizar ou reparar as causas estruturais da degradação (ex: supergeneralização factual, quebra de referência ou excesso de conhecimento/bloat). Os autores argumentam que a restrição limitante para a evolução sustentada de habilidades não é a capacidade de edição ou a contagem de iterações, mas se o feedback de avaliação fornece continuamente gradientes de evolução confiáveis.

2. Metodologia: O Framework SkillEvo

O SkillEvo é um framework de evolução de habilidades construído sobre dois pilares: Geração de Feedback Confiável e Governança de Habilidade Controlável. Ele opera como um ciclo fechado: Sintetizador de Cenários → Agente do Usuário → Verificador → Atribuição Coletiva → Otimizador de Habilidade → Governador de Habilidade.

2.1 Geração de Feedback Confiável

O framework recastea a simulação de usuário de múltiplos turnos de um mero endpoint de avaliação para um gerador de feedback contínuo. Este componente garante que o sinal de feedback seja confiável ao satisfazer três condições: cobertura, precisão e atribuibilidade.

• Reconstrução de Usuário Restrita: Em vez de simulação genérica, o sistema extrai uma agenda de intenções, fatos de comportamento e uma trajetória emocional de tickets reais tratados por humanos. Uma Máquina de Estados de Intenção monitora se as intenções principais foram levantadas e endereçadas substancialmente, evitando terminação prematura ou turnos redundantes.
• Avaliação Ortogonal de Lados Duplos: Para garantir a precisão, o sistema avalia o simulador e o agente separadamente.
  • Lado do Simulador: Mede a cobertura de intenção ($c_U$). Se as intenções principais não forem levantadas, a falha é atribuída à distorção de simulação (Ruído de Avaliação), não ao agente.
  • Lado do Agente: Mede a precisão de resposta de intenção exposta ($s_C$) contra soluções de referência humanas. Isso isola lacunas genuínas de conhecimento de artefatos de simulação.
• Atribuição Coletiva: As falhas são classificadas em três categorias:
  1. Lacuna de Conhecimento: Reparável pela Habilidade (ex: fatos ausentes).
  2. Limite de Capacidade: Irreparável pela Habilidade (ex: restrições de permissão/ferramental).
  3. Ruído de Avaliação: Distorção de simulação ou falsos negativos.
     Apenas as Lacunas de Conhecimento são projetadas no sinal de feedback ($L_t$). Múltiplas lacunas semelhantes são fundidas semanticamente para focar a revisão em comunalidades de amostras cruzadas, em vez de ruído por instância.

2.2 Governança de Habilidade Controlável

Para evitar o acúmulo de degradação durante a revisão de múltiplos turnos, o SkillEvo introduz uma camada de governança independente que muda da rejeição passiva para o reparo ativo baseado em diagnóstico.

• Consistência Factual (Restrição Rígida): Uma Habilidade revisada deve reter fatos estáveis da linha de base de produção ($S_0$). O sistema utiliza âncoras duplas ($S_0$ e a rodada anterior $S_{t-1}$) para distinguir entre fatos estáveis perdidos e novos erros introduzidos. Qualquer violação aciona o reparo imediato na mesma rodada.
• Consistência Estrutural (Restrição Flexível): O sistema diagnostica três tipos de degradação estrutural que pontuações escalares não detectam:
  1. Excesso de Conhecimento (Knowledge Bloat): Redundância que dilui a precisão de roteamento.
  2. Quebra de Referência: Referências pendentes ou arquivos órfãos.
  3. Supergeneralização Factual: Valores concretos decaindo em afirmações vagas.
     Em vez de rejeitar o candidato, a camada de governança emite recomendações para reparar esses problemas estruturais na próxima rodada, garantindo que a direção do gradiente não derive.

2.3 Edição Limitada (Bounded Editing)

O Otimizador de Habilidade realiza atualizações limitadas ($S_{t+1} = \text{BoundedEdit}(S_t, L_t, S_0)$). As atualizações são restringidas por um limite de evidência (apenas lacunas verificadas são corrigidas) e um limite de referência (a revisão é ancorada à linha de base de produção para evitar a sobrescrita de fatos estáveis).

3. Principais Contribuições

1. Formalização de Feedback Confiável: O artigo define três condições necessárias (cobertura, precisão, atribuibilidade) e introduz um framework de simulação de múltiplos turnos que recastea a interação de um endpoint para um gerador de feedback. Isso inclui uma máquina de estados de intenção, avaliação ortogonal de lados duplos e atribuição coletiva.
2. Governança Estruturada para Habilidades: Os autores identificam as Habilidades como sistemas de conhecimento estruturados propensos a degradações específicas (bloat, quebra, supergeneralização). Eles propõem um mecanismo de governança usando âncoras duplas para consistência factual e diagnóstico estrutural de grafo para reparo ativo, indo além da rejeição por gatilho escalar.
3. Validação Empírica: O framework é implantado e testado em seis categorias de serviços de nuvem, envolvendo 9 Habilidades de produção e 98 arquivos de referência de habilidade.

4. Resultados Experimentais

A avaliação foi conduzida em cenários de suporte técnico de produção da Tencent Cloud, utilizando um conjunto de dados de tickets escalonados (casos de falha). Os resultados foram medidos contra três baselines: Habilidade Original (escrita à mão), Autorreflexão (sem avaliação) e evolução impulsionada por QA de turno único.

• Ganhos de Desempenho: O SkillEvo melhorou a Taxa de Sucesso da Tarefa (TSR) em 51,8 pontos sobre as Habilidades originais. Superou a evolução baseada em Autorreflexão por 23,0 pontos e a evolução impulsionada por QA de turno único por 15,4 pontos.
• Sustentabilidade do Gradiente: Enquanto o QA de turno único mostrou retornos decrescentes (TSR estabilizando em torno de 66,4% após a primeira rodada), o SkillEvo demonstrou um gradiente de renovação automática, com a TSR subindo constantemente de 59,4% (R1) para 81,8% (R4).
• Controle de Degradação:
  • Taxa de Regressão: A camada de governança reduziu significamente a regressão entre rodadas, com a taxa de tickets que falharam após terem passado anteriormente caindo de 28,2% (R1→2) para 21,1% (R3→4).
  • Excesso de Conhecimento (Knowledge Bloat): Sem governança, o excesso de conhecimento cumulativo atingiu 16,2%. Com a governança do SkillEvo, o bloat foi limitado a 2,8%, estabilizando após a primeira rodada. Isso indica que os ganhos de capacidade foram derivados da correção do conhecimento existente, não da expansão do volume de texto.
• Estudos de Ablação: Remover a interação de múltiplos turnos (substituindo por QA de turno único) eliminou a liderança de 15,4 pontos, confirmando a fonte de feedback como o principal motor. Remover a camada de governança causou uma queda menor na TSR (3,2 pontos), mas um aumento massivo no bloat, destacando o papel da governança na integridade estrutural, em vez da maximização imediata da pontuação.

5. Significância e Alegações

O artigo alega que o gargalo para a evolução sustentada de habilidades não é a capacidade de editar texto ou o número de iterações, mas a qualidade e a continuidade do sinal de feedback de avaliação.

• Gradientes de Renovação Automática: Ao utilizar a interação de múltiplos turnos, o SkillEvo garante que cada rodada de revisão consuma o feedback enquanto simultaneamente gera novo e mais profundo feedback, expondo defeitos latentes camada por camada.
• Governança Ativa: O framework demonstra que tratar uma Habilidade como um sistema de conhecimento estruturado permite o diagnóstico e o reparo da degradação estrutural (bloat, quebra de referências) que métricas escalares não conseguem detectar.
• Viabilidade de Produção: O framework foi implantado no ambiente de produção da Tencent Cloud, evidenciando sua eficácia sob condições operacionais reais onde a manutenção manual é dispendiosa e sensível à latência.

Os autores enfatizam que sua abordagem fornece uma condição necessária para o implante de conhecimento de autoevolução em sistemas voltados ao usuário: um loop de feedback de alta qualidade que isola a distorção de simulação e um mecanismo de governança que mantém ativamente a integridade estrutural e factual da Habilidade.