Resumo Técnico: Habilidades Contratuais – Um Framework de Design GovernSpec para Agentes de IA Empresariais

1. Definição do Problema

À medida que as aplicações de Modelos de Linguagem (LLM) evoluem de interações de turno único para sistemas de agentes empresariais de múltiplos passos, o mecanismo atual para empacotar capacidades de agentes — habilidades — enfrenta limitações significativas de governança. Embora as habilidades (geralmente arquivos SKILL.md) forneçam efetivamente instruções e contexto modulares, elas frequentemente dependem de prosa informal para definir restrições críticas.

Em ambientes empresariais, essa informalidade cria cinco limitações recorrentes:

1. Limites de Entrada Neutros: As habilidades frequentemente falham em definir entradas obrigatórias, comportamentos de dados ausentes ou classes de privacidade, levando a saídas confiantes baseadas em contexto incompleto.
2. Permissões Implícitas: Regras sobre ações proibidas (por exemplo, prometer preços, deletar arquivos) estão enterradas no texto em vez de serem explicitamente estruturadas, tornando-as fáceis de ignorar.
3. Pontos de Aprovação Humana Instáveis: Pontos críticos de pausa para confirmação humana (por exemplo, para descontos ou alterações de produção) não são consistentemente identificados pelo modelo.
4. Política de Evidência Fraca: Distinções entre fatos, suposições e inferências são frequentemente perdidas, levando a certezas sem suporte.
5. Expectativas de Saída Tácitas: Critérios de aceitação, requisitos de esquema e etapas de verificação raramente são explícitos, causando desvio de saída entre tarefas e modelos.

O artigo argumenta que, embora guardrails de tempo de execução e adaptadores de ferramentas imponham comportamento, eles não substituem a necessidade de um contrato de tarefa legível e revisável que alinhe o modelo, os mantenedores e os avaliadores nas mesmas fronteiras semânticas.

2. Metodologia: O Framework de Habilidade Contratual

O artigo propõe Habilidades Contratuais, um framework de design que reorganiza arquivos SKILL.md usando uma estrutura de contrato de tarefa estilo GovernSpec. Esta abordagem preserva as propriedades de descoberta leve e carregamento progressivo das habilidades padrão, enquanto introduz um modelo de campos estruturado para esclarecer as fronteiras de execução.

Princípios de Design Central

• Limites Explícitos: Regras de alto risco (permissões, portões humanos, evidências) são movidas da prosa para campos dedicados.
• Separação de Preocupações: As habilidades expressam intenção e semântica; adaptadores de tempo de execução e guardrails impõem comportamento.
• Adoção Gradual: Equipes podem reescrever habilidades existentes neste formato e, posteriormente, integrar GovernSpec YAML para fluxos de trabalho de alto risco.

O Modelo de Campos

O framework introduz um conjunto padronizado de campos (resumidos na Tabela 1 do artigo) para estruturar o corpo da habilidade:

• Objetivo e Público: Define o objetivo da tarefa e o leitor-alvo para evitar desvio de objetivo.
• Entradas e Contexto: Especifica entradas obrigatórias/opcionais, caminhos, classes de privacidade e distingue fatos de suposições.
• Permissões e Restrições: Lista explicitamente ferramentas, arquivos e ações de rede permitidas/proibidas.
• Portões Humanos: Identifica condições que exigem confirmação humana antes de prosseguir.
• Evidência: Exige requisitos de fonte e marcação de incerteza.
• Saída e Barra de Qualidade: Define formato, esquema, idioma e critérios para um resultado "bom".
• Verificação e Transferência: Inclui autoverificações pré-finais e regras para escalonamento ou transferência para outros agentes/cargos.

Design Experimental

O framework foi avaliado por meio de dois experimentos offline envolvendo oito modelos de geração (incluindo GPT-5.5, DeepSeek-V4-Pro, Qwen3.6-plus e outros):

1. Experimento de Geração de Texto:

   • Escopo: Três habilidades empresariais (crescimento-de-vendas, contrato-financeiro, revisão-de-código-pro) em 15 tarefas sintéticas.
   • Condições: Quatro condições de instrução foram comparadas: Sem Habilidade, Habilidade Mínima, Habilidade Expandida Simples (mesmo volume de informações da contratual, mas não estruturada) e Habilidade Contratual.
   • Métricas: 960 saídas geradas e 1.680 registros de pontuação de juízes cruzados (usando avaliação cruzada de modelos para reduzir viés).

2. Desafio de Chamada de Ferramentas:

   • Escopo: 192 registros simulados de chamada de ferramentas em oito modelos.
   • Configuração: Modelos enfrentaram ferramentas de escrita de alto risco (simuladas como bloqueadas) e ferramentas de apenas leitura.
   • Métricas: Frequência de tentativas de ferramentas de alto risco e falsas alegações de conclusão após chamadas bloqueadas.

3. Resultados Chave

Desempenho de Geração de Texto

• Melhoria de Linha de Base: Habilidades contratuais alcançaram pontuações médias de juízes-modelo mais altas do que as linhas de base Sem Habilidade e Habilidade Mínima em todos os oito modelos.
• Ganho Estrutural: Comparado à Habilidade Expandida Simples (que continha volume de informação similar), as habilidades contratuais mostraram melhorias marginais de pontuação (ligeiramente mais altas em seis modelos, ligeiramente mais baixas em dois).
• Interpretação: O valor primário do formato contratual não é tornar o modelo "mais inteligente" em termos de qualidade bruta de geração, mas sim produzir saídas estáveis, inspecionáveis e auditáveis.
• Verificabilidade: Na execução do GPT-5.5, a condição contratual alcançou uma taxa de aprovação de 100% (30/30) em um verificador automático para seções obrigatórias, enquanto outras condições falharam em usar consistentemente seções padrão.

Segurança na Chamada de Ferramentas

• Redução de Risco: As habilidades geralmente reduziram tentativas de ferramentas de alto risco em comparação com a condição Sem Habilidade. Na condição contratual, seis dos oito modelos fizeram zero tentativas de alto risco.
• Limitações: O efeito foi dependente do modelo. Alguns modelos (por exemplo, claude-opus-4-7, Kimi-K2.6) ainda fizeram tentativas mesmo com habilidades contratuais.
• Realidade de Aplicação: Nenhum modelo alegou falsamente conclusão após uma chamada bloqueada, mas o artigo enfatiza que habilidades não substituem guardrails de tempo de execução. O adaptador simulado bloqueou com sucesso todas as ações de risco, confirmando que a habilidade serve como uma camada de governança para intenção, enquanto o adaptador impõe a segurança real.

4. Contribuições

O artigo faz cinco contribuições específicas:

1. Definição: Define habilidades contratuais como um padrão de organização estilo GovernSpec para arquivos SKILL.md.
2. Modelo de Campos: Propõe um modelo de campo específico para habilidades empresariais cobrindo entradas, permissões, portões humanos, evidências, saída, verificação e transferência.
3. Esclarecimento de Fronteiras: Esclarece os papéis distintos de habilidades contratuais versus GovernSpec YAML, Protocolo de Contexto de Modelo (MCP), adaptadores de ferramentas e guardrails de tempo de execução.
4. Evidência Empírica (Texto): Relata um experimento de geração de texto multi-modelo (960 saídas) demonstrando melhoria na consistência estrutural e verificabilidade.
5. Evidência Empírica (Ferramentas): Relata um desafio offline de chamada de ferramentas (192 registros) discutindo onde contratos no nível de habilidade auxiliam ou falham na mitigação de riscos.

5. Significado e Alegações

O artigo mantém uma postura modesta sobre suas alegações. Afirma explicitamente que habilidades contratuais não tornam um modelo inerentemente seguro nem substituem verificações de permissão em tempo de execução.

Em vez disso, o significado do framework reside na governança e manutenibilidade:

• Explicitação: Transforma conhecimento organizacional tácito (por exemplo, "vendas não podem aprovar descontos") em artefatos visíveis e revisáveis.
• Alinhamento: Garante que o modelo, o mantenedor e o avaliador referenciem os mesmos campos ao definir entradas, permissões e critérios de aceitação.
• Gestão de Ativos: À medida que as habilidades evoluem de snippets de prompt para ativos organizacionais de longa duração, este framework fornece um caminho leve para torná-las revisáveis, reutilizáveis e testáveis sem exigir uma plataforma de governança em escala total imediatamente.

Os autores concluem que as habilidades contratuais são mais eficazes como uma camada de governança que torna explícitas a intenção da tarefa, as fronteiras e os critérios de aceitação, servindo como um complemento necessário, e não como um substituto, para mecanismos de aplicação em tempo de execução.