Resumo Técnico: Habilidade Formal: Habilidades de Runtime Programáveis para Agentes LLM Eficientes e Precisos

1. Declaração do Problema

Agentes de Modelos de Linguagem de Grande Escala (LLM) estão sendo cada vez mais implantados em ambientes de trabalho reais, onde sua capacidade de agir depende da confiabilidade de suas ferramentas e habilidades. As abordagens atuais para definir habilidades de agentes sofrem de quatro limitações primárias devido à sua dependência de Habilidades Informais (conhecimento procedural codificado principalmente em linguagem natural):

1. Ineficiência de Tokens: Instruções procedimentais (por exemplo, arquivos SKILL.md, pacotes Markdown) devem ser carregadas como tokens de prompt para cada turno relevante, levando a altos custos.
2. Ambiguidade: A linguagem natural é apenas semi-estruturada para uma máquina, tornando difícil impor ordenação estrita, regras de segurança ou critérios de conclusão.
3. Fiscalização Fraca: Restrições como "verificar antes de finalizar" ou "não editar arquivos protegidos" são frequentemente sugestões suaves em prompts em vez de verificações executáveis, permitindo que os modelos as contornem.
4. Recuperação Frágil: O estado e o contexto de recuperação são implícitos no transcript da conversa em vez de serem representados como estado de runtime explícito e local à habilidade, levando a estratégias de recuperação ad hoc em tarefas de longo horizonte.

Sistemas existentes, como aqueles que usam bibliotecas SKILL.md ou interfaces de ferramentas baseadas em esquema (por exemplo, MCP, chamadas de função), ou tratam procedimentos como documentos a serem lidos ou definem ações individuais sem governar o estado do fluxo de trabalho, a aplicação de políticas ou a disciplina de conclusão.

2. Metodologia: Habilidade Formal e FairyClaw

Os autores propõem a Habilidade Formal, uma abstração nativa de runtime que converte capacidades reutilizáveis de agentes de artefatos em linguagem natural em objetos estruturados e executáveis. Esta abordagem transfere o ônus das invariantes procedimentais do prompt do modelo para a lógica de execução do runtime.

Componentes Principais da Habilidade Formal

Uma Habilidade Formal consiste em cinco componentes integrados:

1. Metadados JSON e Esquemas de Ação: Define a interface legível por máquina, substituindo texto procedimental longo com descrições compactas de ferramentas e esquemas de argumentos.
2. Executores Python Confiáveis: Implementa ações com validação determinística e efeitos colaterais limitados, garantindo que as chamadas de ferramenta sejam seguras e corretas antes da execução.
3. Lógica de Controle Governada por Hooks: Um pipeline de hooks (por exemplo, before_llm_call, before_tool_call, after_tool_call) que media as interações entre modelo e ferramenta. Esses hooks aplicam políticas, filtram ferramentas visíveis com base no estado e validam argumentos.
4. Estado de Runtime Local à Habilidade: Um objeto de estado explícito (por exemplo, fase atual, status de verificação, portões de artefato) que rastreia o progresso. Este estado é consumido por hooks para determinar a visibilidade da ferramenta e a conclusão da tarefa, substituindo a recuperação baseada em transcript implícito.
5. Metadados de Roteamento: Determina quando e como uma habilidade é exposta a uma tarefa ou subtarefa específica, permitindo a seleção dinâmica de capacidades.

Implementação: FairyClaw

Os autores implementam a Habilidade Formal no FairyClaw, um runtime de agente orientado a eventos de código aberto. As principais características arquitetônicas incluem:

• Planejador de Passo Único: O runtime executa uma decisão do LLM e seus efeitos de ferramenta de cada vez, persistindo o turno e atualizando o estado da habilidade antes de agendar o próximo evento.
• IR de Histórico Tipado: Mantém uma representação intermediária tipada do histórico.
• Delegação e Roteamento de Sub-Agentes: O planejador principal pode criar sub-sessões com espaços de trabalho estreitados e conjuntos de habilidades roteados. Isso garante que o modelo veja apenas ferramentas e orientações relevantes para a fase atual, reduzindo o uso de tokens e a ambiguidade de ação.
• Pipeline de Hooks: Um pipeline estruturado onde o estado é convertido em visibilidade de ferramenta, orientação de prompt e verificações de política.

Estudo de Caso: CODEREPAIROPS

Para instanciar o conceito, os autores desenvolveram o CODEREPAIROPS, uma habilidade formal para reparo de código e depuração orientada a testes.

• Fases: A habilidade impõe um fluxo de trabalho de reproduzir → diagnosticar (opcional) → corrigir → verificar → relatar.
• Visibilidade Orientada por Estado: Na fase reproduzir, apenas ferramentas de coleta de evidências são visíveis. Em corrigir, apenas ferramentas de patch unificado são permitidas, com guardas rejeitando caminhos protegidos ou alterações excessivamente grandes.
• Aplicação de Portões: A conclusão é bloqueada até que a verificação passe e os artefatos necessários sejam produzidos. Se os portões falharem, a sessão é forçada a retornar à fase anterior em vez de permitir a conclusão prematura.

3. Contribuições Principais

1. Abstração de Habilidade Formal: Um novo paradigma para habilidades de agentes que move o conhecimento procedural de prompts em linguagem natural para metadados JSON, esquemas de ação, executores confiáveis, loops de controle governados por hooks e estado de runtime local à habilidade.
2. Runtime FairyClaw: Um runtime orientado a eventos de código aberto que torna as Habilidades Formais roteáveis, executáveis, observáveis e aplicáveis. Integra planejamento de passo único, estado de sessão persistente e controle de execução baseado em hooks.
3. Validação Empírica: Demonstração no conjunto de testes Harness-Bench mostrando que Habilidades Formais podem alcançar desempenho competitivo enquanto reduzem significativamente o consumo de tokens.

4. Resultados Experimentais

Os autores avaliaram o FairyClaw contra cinco outros harnesses de agentes (Moltis, NullClaw, ZeroClaw, Hermes, OpenClaw) usando duas famílias de modelos (gpt-5.4 e gemini-3.1-pro) em 75 tarefas.

• Desempenho Geral:
  • No gpt-5.4, o FairyClaw alcançou a pontuação combinada mais alta (0,746) entre todos os agentes, classificando-se em primeiro lugar neste grupo e em terceiro lugar no geral entre ambas as famílias de modelos.
  • No gemini-3.1-pro, o FairyClaw alcançou uma pontuação competitiva de 0,635, classificando-se em terceiro lugar no geral.
• Eficiência de Tokens:
  • O FairyClaw usou substancialmente menos tokens do que todos os comparadores. No gpt-5.4, usou 46,8K tokens por tarefa em média, o que é aproximadamente 48% menor que a média dos outros cinco harnesses e 33% menor que o próximo sistema mais eficiente.
  • O uso total de tokens para o FairyClaw (gpt-5.4) foi de 3,51M, comparado a 6,29M para o Moltis e 7,28M para o Hermes.
  • Os autores observam que a compressão de contexto foi desativada durante essas execuções; assim, os ganhos de eficiência são atribuídos ao roteamento de Habilidade Formal, orientação de fase compacta e exposição mais estreita de ferramentas, em vez de sumarização de transcript.
• Desempenho Específico por Tarefa:
  • Em uma tarefa representativa de depuração de código que exigia coleta de evidências, modificação de espaço de trabalho e verificação, o FairyClaw alcançou as pontuações combinadas mais altas para ambos os modelos (0,865 para gpt-5.4 e 0,843 para gemini-3.1-pro).
  • Embora o FairyClaw às vezes tenha exigido mais rodadas (por exemplo, 48 rodadas vs. 21 para o NullClaw no gpt-5.4), essas rodadas foram governadas por transições de estado explícitas e controles de hooks em vez de prompts não estruturados, resultando em menor consumo total de tokens apesar da trajetória mais longa.

5. Significado e Alegações

O artigo afirma que a Habilidade Formal representa uma mudança na forma como capacidades reutilizáveis de agentes são construídas. Ao tratar habilidades como "contratos de runtime" em vez de "manuais textuais", a abordagem:

• Desacopla Raciocínio de Execução: O modelo mantém o papel de raciocinar e escolher entre ações estruturadas, enquanto o runtime possui as invariantes procedimentais, regras de segurança e gerenciamento de estado.
• Impõe Disciplina: Restrições tornam-se verificações executáveis (por exemplo, bloqueando edições inseguras ou conclusões prematuras) em vez de instruções que o modelo pode escolher ignorar.
• Melhora a Eficiência: Reduz drasticamente o consumo de tokens substituindo documentos procedimentais longos por orientações compactas condicionadas ao estado.

Os autores posicionam isso não como uma substituição da linguagem natural no comportamento do agente, mas como uma reatribuição de papéis: a linguagem natural é usada para raciocínio específico da tarefa, enquanto procedimentos reutilizáveis são codificados como objetos de runtime compactos e aplicáveis. Os resultados sugerem que essa abordagem permite que agentes realizem tarefas complexas e multi-etapa com maior confiabilidade e custo significativamente menor.