SkillSentry: Reliable Skill Execution for LLM Agents via Runtime Assurance

Resumo Técnico: SKILLSENTRY

Definição do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) estão cada vez mais equipados com "habilidades" (skills) — conhecimentos procedimentais reutilizáveis projetados para guiar o raciocínio de múltiplos passos e o uso de ferramentas para tarefas complexas. Embora as habilidades forneçam uma abstração estruturada para a resolução de tarefas, elas não garantem uma execução confiável. Mesmo quando um agente demonstra a capacidade de completar uma tarefa sob a orientação de uma habilidade, ele frequentemente falha em reproduzir a execução correta de forma consistente em tarefas semelhantes ou execuções repetidas.

Essas falhas geralmente decorrem da natureza generativa da execução do LLM, onde pequenas variações no contexto, no raciocínio ou no feedback da ferramenta causam desvios do procedimento prescrito pela habilidade ou a execução incorreta de passos individuais. As abordagens existentes geralmente focam em melhorar as capacidades do modelo (via fine-tuning), otimizar prompts offline ou aplicar salvaguardas de segurança. No entanto, há uma lacuna no endereçamento da confiabilidade em tempo de execução (runtime reliability) para agentes que possuem a capacidade fundamental de resolver uma tarefa, mas lutam com a consistência procedimental. Os sistemas de tempo de execução atuais focam frequentemente em políticas de segurança, em vez de garantir a adesão a procedimentos de habilidades específicas.

Metodologia: SKILLSENTRY

Para abordar isso, os autores propõem o SKILLSENTRY, um framework de garantia de runtime orientado a habilidades. O SKILLSENTRY não tenta ensinar novas habilidades aos agentes ou compensar lacunas fundamentais de capacidade. Em vez disso, ele envolve o loop de execução do agente para monitorar, guiar e refinar iterativamente a execução da habilidade com base em uma nova Linguagem de Domínio Específico (DSL).

O framework opera em duas etapas principais:

1. Linguagem de Domínio Específico (DSL) para Orientação de Runtime

O SKILLSENTRY introduz uma DSL estruturada para representar a orientação de runtime. Esta linguagem combina:

• Especificação da Habilidade: Extraída de documentos de habilidade em linguagem natural, definindo os passos esperados, dependências, restrições (ferramenta e parâmetro) e requisitos de terminação.
• Experiência de Execução: Minerada de rastros (traces) históricos de sucessos e falhas, incluindo padrões de ação validados, padrões associados a falhas, sugestões e avisos ao nível do passo.

2. Estágios de Inicialização e Autoevolução

• Estágio de Inicialização:

  • Extração de Especificação: Um parser baseado em LLM transforma os documentos de habilidade nos campos estruturais da DSL (passos, dependências, restrições).
  • Mineração de Experiência: Um minerador baseado em LLM analisa rastros históricos para popular a DSL com padrões de ação lógicos (como um passo se parece quando bem-sucedido), padrões de falha (ações que levam a erros) e sugestões/avisos contextuais.
  • Construção de Orientação: A especificação extraída e a experiência minerada são combinadas para formar a orientação inicial de runtime.

• Estágio de Autoevolução:

  • Garantia de Runtime Consciente de Passos: O framework conecta-se ao loop de execução do agente (planejamento, execução de ferramenta, observação).
  • Verificador de Procedimento: Monitora as ações do agente contra uma Máquina de Estados Finitos (FSM) derivada da orientação.
    • Injeção: Ao entrar em um passo, ele injeta sugestões e avisos relevantes.
    • Intervenção: Se uma ação desviar do procedimento ou corresponder a um padrão de falha conhecido, ele nega temporariamente a ação e fornece uma dica para o replanejamento.
    • Permissão: Ações válidas são permitidas; ações auxiliares não cobertas pela orientação são permitidas, mas não avançam a FSM.
  • Verificador de Terminação: Verifica se todos os passos necessários na orientação foram concluídos antes de aceitar a saída final.
  • Refinamento Iterativo: Novos rastros de execução (tanto de sucesso quanto de falha) são coletados e alimentados de volta no processo de mineração para atualizar e refinar a orientação de runtime, criando um loop de autoaperfeiçoamento.

Principais Contribuições

1. Design de DSL: Uma linguagem de domínio específico para representar a orientação de runtime orientada a habilidades que integra especificações estáticas de habilidades com experiência dinâmica de execução.
2. Framework SKILLSENTRY: Um sistema de garantia de runtime que envolve loops de execução de agentes, monitora a adesão procedimental, intervém em desvios e refina iterativamente a orientação usando rastros coletados.
3. Protótipo e Avaliação: Implementação de um protótipo e experimentos extensos demonstrando eficácia através de múltiplos agentes e modelos de backbone.

Resultados Experimentais

Os autores avaliaram o SKILLSENTRY em 15 habilidades através de dois agentes de LLM (Claude Code e Codex) pareados com quatro modelos de backbone (Claude-Haiku-4.5, Claude-Opus-4.6, GPT-5.2, GPT-5.4).

• Eficácia: O SKILLSENTRY melhorou a taxa média de sucesso das tarefas em 24,1% em todas as configurações. Reduziu significativamente o desvio padrão das taxas de sucesso em 41,1%, indicando uma execução mais consistente.
  • As melhorias foram mais pronunciadas em habilidades com baixo desempenho basal (ex: até 210% de melhoria em excitation-signal-design).
  • Alcançou taxas de sucesso perfeitas (100%) em diversas habilidades onde o agente base apresentava falhas residuais.
• Eficiência: O framework introduziu um overhead de runtime modesto:
  • Aumento de 7,8% nos turnos de inferência.
  • Aumento de 8,7% nos custos de tokens.
  • O custo computacional do próprio SKILLSENTRY representou apenas ~0,8% do tempo total de execução.
• Capacidade de Autoevolução: A análise mostrou que as taxas de sucesso das tarefas melhoraram progressivamente à medida que mais rastros de execução eram incorporados, com a orientação estabilizando após aproximadamente 10 iterações.
• Estudos de Ablação:
  • Remover sugestões/avisos ao nível do passo (w/o On-Enter) ou padrões de falha (w/o Failure-Patterns) degradou significativamente o desempenho, confirmando o valor de ambos os tipos de experiência.
  • Entregar a orientação ao nível do passo (runtime) foi 5,8% mais eficaz do que colocar toda a orientação no prompt do sistema inicial.
• Generalização: A orientação de runtime evoluiu com um modelo de backbone transferido efetivamente para outro modelo dentro do mesmo agente, retendo 94,2% da eficácia nativa do modelo e melhorando a taxa de sucesso do agente base em 17,2%.

Significância e Alegações

O artigo afirma que o SKILLSENTRY preenche a lacuna entre a capacidade fundamental de um agente e sua execução confiável de habilidades procedimentais. Ao deslocar o foco da otimização offline de prompts ou retreinamento de modelos para a garantia de runtime, o framework garante que os agentes adiram aos procedimentos de habilidades e aprendam com o histórico de execução dinamicamente.

Os autores posicionam o SKILLSENTRY como o primeiro framework de garantia de runtime direcionado especificamente à confiabilidade de execução orientada a habilidades. Diferente das salvaguardas de segurança que evitam violações de política, o SKILLSENTRY garante a aplicação correta de conhecimento procedimental específico do domínio. O trabalho demonstra que agentes podem se tornar significativamente mais confiáveis e estáveis com baixo overhead computacional ao combinar definições de habilidades estruturadas com experiência de execução minerada, sem exigir mudanças nos parâmetros do modelo subjacente.