Compression, structure, and executor capability: a controlled real-cost decomposition of language-model agent skill optimisation

Resumo Técnico: Compressão, Estrutura e Capacidade do Executor na Otimização de Habilidades de Agentes de Modelos de Linguagem

Definição do Problema
A confiabilidade de agentes de modelos de linguagem (LM) depende cada vez mais do ambiente de execução e de artefatos de instrução reutilizáveis conhecidos como "habilidades" (skills). Uma suposição prevalecente no campo é que a otimização dessas habilidades — por meio de encurtamento, reescrita estrutural, compilação por modelos mais fortes ou carregamento com escopo (scoped loading) — reduz os custos operacionais ao mesmo tempo em que preserva o sucesso das tarefas. No entanto, essa suposição raramente é testada com medições simultâneas de qualidade e custo monetário real, onde os fatores contribuintes são isolados. A literatura atual frequentemente confunde efeitos de ponta a ponta, utiliza o volume de tokens como um substituto (proxy) para o custo (ignorando as diferenças de preço entre camadas de modelos) ou baseia-se no comprimento do prompt como um indicador fraco de qualidade. Este estudo aborda essa lacuna ao tratar a representação da habilidade como um problema controlado de medição de qualidade de software, visando determinar se as estratégias de representação realmente melhoram a eficiência ou se o fator dominante reside em outro lugar.

Metodologia
O estudo emprega uma decomposição controlada sobre um benchmark de agentes de engenharia de software composto por 40 tarefas com verificadores executáveis. O design experimental isola dez condições distintas através de 1.200 execuções (rollouts) (três repetições por célula).

• Condições: O design separa uma referência sem habilidade (no-skill), uma linha de base de habilidade bruta curada, encurtamento extrativo determinístico, renderizações lineares e estruturadas derivadas de um livro semântico (semantic ledger) compartilhado, e carregamento com escopo. Estas são cruzadas com duas camadas de modelos: um executor "compacto" (gpt-5.4-mini) e um executor "forte" (gpt-5.5), além de uma camada de "compilador" para transformação de habilidade offline.
• Controles: Para garantir a paridade, as renderizações lineares e estruturadas são geradas deterministicamente a partir do mesmo livro semântico, garantindo que as diferenças surjam apenas da apresentação, não do conteúdo. Um auditor sentinela verifica se a condição sem habilidade realmente carece do artefato da habilidade.
• Métricas:
  • Qualidade: Medida pela taxa de aprovação do verificador (sucesso binário) agregada ao nível da tarefa. Uma margem de não-inferioridade de −5 pontos percentuais é usada para determinar se uma estratégia preserva a qualidade.
  • Custo: Reportado primariamente em termos de dinheiro real (USD) com base nos preços padrão sob demanda dos provedores para a etapa de resolução (solve stage). Visões normalizadas pelo volume de tokens e custos de compilação offline são mantidas para robustez e análise de amortização.
• Estatística: A tarefa é a unidade de inferência. Os intervalos são agrupados por tarefa (10.000 reamostragens), e a família de contraste de qualidade fixa é corrigida para multiplicidade usando o procedimento de Holm.

Principais Contribuições

1. Decomposição por Fatores Isolados: O estudo isola compressão, renderização estruturada vs. linear, camada de compilador, camada de executor e carregamento com escopo, desvinculando fatores que comparações de ponta a ponta tipicamente confundem.
2. Contabilidade de Custo Real com Filtro de Qualidade: Distingue o custo monetário das contagens de tokens e do overhead de compilação única, corrigindo a visão de que um modelo mais forte parece mais barato simplesmente porque usa menos tokens.
3. Evidência Empírica sobre Estratégias de Representação: As medições fornecem uma avaliação definitiva de se as representações otimizadas melhoram em relação às habilidades brutas sob condições controladas.

Resultos

• A Capacidade do Executor é Dominante: O único contraste que sobrevive à correção de multiplicidade é a camada do executor. A mudança de um executor compacto para um forte eleva a taxa de aprovação em 26,7 pontos percentuais (de ~29% para ~56% em condições estruturadas), mas aumenta o custo real em aproximadamente cinco vezes. A camada de compilador não mostra efeito robusto no desempenho.
• Ineficácia das Otimizações de Representação:
  • Encurtamento Determinístico: Permanece descritivamente próximo à linha de base bruta (+1,7 pp), mas falha em estabelecer a não-inferioridade dentro da margem preestabelecida. Não reduz o custo real.
  • Renderização Estruturada: No executor compacto, a renderização estruturada reduz a taxa de aprovação em 13,3 pontos percentuais em comparação com a linha de base bruta e é indistinguível do texto linear quando o conteúdo é correspondente. Não reduz o custo.
  • Carregamento com Escopo (Scoped Loading): Reduz a taxa de aprovação em 8,3 pontos percentuais no executor compacto e falha em reduzir o custo.
• Ponto de Equilíbrio de Custo (Cost Break-Even): Sob preços reais, nenhuma representação otimizada atinge um equilíbrio de custo prático. Embora as contagens de tokens diminuam com o encurtamento ou reestruturação, essas reduções ocorrem na camada compacta de baixo preço e não compensam os custos da etapa de resolução. O executor forte, apesar de usar menos tokens, é significativamente mais caro por token, tornando-o a forma mais dispendiosa de elevar a qualidade. As contagens de reuso para o ponto de equilíbrio das condições otimizadas são frequentemente na casa das centenas ou infinitas, excedendo configurações operacionais prováveis.

Significância e Alegações
O artigo afirma que a suposição comum — de que habilidades menores ou melhor organizadas reduzem o custo enquanto preservam o sucesso — não é sustentada pelas evidências quando custos reais e fatores isolados são considerados. O estudo conclui que a capacidade do executor é o principal alavancador para o desempenho do agente, enquanto nenhuma das estratégias de representação testadas (encurtamento, estruturação, carregamento com escopo) supera a habilidade bruta em qualquer uma das duas camadas de execução.

Os autores argumentam que, para agentes de engenharia de software, o fator decisivo é a escolha do executor recorrente por uso, em vez de investimentos offline em compilar melhores habilidades. Consequentemente, as otimizações de habilidades de agentes devem ser precificadas em moeda na camada do executor antes de serem tratadas como economia. Os achados sugerem que a reestruturação ou o estreitamento do material pode remover pistas das quais modelos mais fracos dependem, sem adicionar capacidades que eles possam explorar, e que as reduções de volume de tokens não se traduzem em economias monetárias reais quando os níveis de preço dos modelos são levados em conta.