🤖 AI

The Regression Tax: Decomposing Why Skills Help and Hurt LLM Agents

Este artigo revela que adicionar habilidades procedimentais a agentes de LLM frequentemente causa regressões significativas de desempenho devido à osmose de descrição, ao deslocamento de ancoragem e ao deslocamento de verificação, argumentando que a confiabilidade depende mais da melhoria da ancoragem e da verificação do que da otimização da orientação procedimental.

Autores originais: Darshan Tank, Baran Nama

Publicado 2026-07-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Darshan Tank, Baran Nama

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô assistente superinteligente a fazer sua lição de casa. Você dá a ele um conjunto de "habilidades" — pequenos manuais de consulta ou livros de regras que o instruem sobre como resolver problemas específicos, como "como encontrar um número em uma planilha" ou "como ler um relatório financeiro". No mundo da Inteligência Artificial, eles são chamados de Agentes LLM (agentes de Grandes Modelos de Linguagem), e o objetivo é torná-los melhores em trabalhos do mundo real. Por muito tempo, os cientistas mediam o sucesso simplesmente contando quantas tarefas a mais o robô acertava após você lhe dar essas habilidades. Era um jogo de "quanto mais, melhor". Mas, assim como dar a um humano um novo e complicado manual de instruções pode, às vezes, confundi-lo e fazê-lo cometer erros em coisas que ele já sabia fazer, dar habilidades demais a uma IA pode ser contraproducente. A grande questão que os pesquisadores estão fazendo é: Ao adicionarmos essas habilidades, estamos realmente ajudando ou estamos acidentalmente quebrando coisas que já estavam funcionando?

Este artigo, intitulado "The Regression Tax" (O Imposto da Regressão), mergulha profundamente exatamente nesse problema. Os autores, Darshan Tank e Baran Nama, realizaram um experimento massivo com quase 6.000 tentativas diferentes de resolver tarefas de escritório (como ler documentos financeiros ou consertar planilhas) usando três modelos de IA diferentes. Eles compararam como os robôs se saíram com suas novas habilidades versus como se saíram sem nenhuma habilidade.

Aqui está a reviravolta que eles encontraram: Adicionar habilidades não apenas soma vitórias; também rouba vitórias.

Pense nisso como um videogame. Você encontra um novo "power-up" (uma habilidade) que o ajuda a derrotar um chefe com o qual você estava tendo dificuldades. Ótimo! Mas talvez esse mesmo power-up faça você tropeçar em uma pedra que você costumava pular facilmente. Os autores chamam isso de "Regression Tax" (Imposto da Regressão). Eles descobriram que, para cada 100 novas tarefas que os robôs resolvem graças às habilidades, eles na verdade quebraram cerca de 59 tarefas que eles resolveriam perfeitamente sozinhos. Portanto, a melhoria "líquida" é muito menor do que parece se você contar apenas as novas vitórias.

O artigo identifica três maneiras sorrateiras pelas quais essas habilidades fazem os robôs errarem:

Osmose da Descrição da Habilidade (O Efeito "Fantasma"): Imagine que você tem um livro de regras sobre sua mesa. Mesmo que você nunca abra ou leia as instruções, apenas ver o título "Como Calcular Impostos" pode te deixar nervoso e mudar a forma como você faz seus cálculos. Os autores descobriram que simplesmente ter a descrição de uma habilidade na memória do robô (mesmo que o rob em nunca use a habilidade) pode mudar seu comportamento e fazer com que ele falhe. É como se o robô estivesse "osmoseando" a vibração da habilidade e ficando confuso apenas pela presença dela.
Deslocamento de Fundamentação (O Problema do "Mapa Errado"): Isso acontece quando a habilidade diz ao robô como fazer algo, mas, ao fazer isso, faz com que ele olhe para a parte errada do problema. É como dar a um motorista instruções de direção perfeitas, mas as instruções o fazem olhar para a saída errada. O robô segue o procedimento perfeitamente, mas acaba no lugar errado porque a habilidade "deslocou" sua capacidade de encontrar o ponto de partida correto.
Deslocamento de Verificação (A Zona do "Sem Checagem"): Isso ocorre quando a habilidade diz ao robô para pular uma verificação de segurança. Imagine um robô que costuma revisar seu trabalho antes de entregá-lo. Uma nova habilidade pode dizer: "Apenas faça rápido!" e o robô esquece de verificar sua resposta. A matemática pode estar certa, mas como ele não verificou o resultado, ele falha.

Os autores também descobriram que a maneira atual como construímos essas habilidades está um pouco desequilibrada. A maioria dos criadores de habilidades foca em escrever a parte do "meio" — o procedimento passo a passo. Mas os dados mostram que os reais pontos problemáticos estão no início (encontrar a informação correta, ou "fundamentação") e no fim (checar a resposta, ou "verificação"). As habilidades são ótimas em dizer ao robô o que fazer, mas frequentemente o tornam pior em saber onde procurar ou se o resultado está correto.

Em resumo, o artigo sugere que não devemos apenas contar quantas tarefas uma IA melhora. Precisamos olhar para o "imposto" que ela paga ao quebrar coisas que já sabia fazer. Para tornar a IA verdadeiramente confiável, precisamos parar de apenas escrever mais procedimentos e começar a ajudar os robôs a lerem melhor o mapa e a checarem seu próprio trabalho. Os autores sugerem que, se corrigirmos esses problemas específicos de "fundamentação" e "verificação", poderemos recuperar um grande número das tarefas que atualmente estão falhando. Não se trata de ter mais habilidades; trata-se de ter o tipo certo de ajuda que não faça o robô tropeçar.

Resumo Técnico: O Imposto da Regressão: Decompondo por que Habilidades Ajudam — e Prejudicam — Agentes de LLM

Declaração do Problema

A avaliação atual das habilidades de agentes de Large Language Model (LLM) baseia-se primariamente na melhoria média nas taxas de sucesso de tarefas. Esta métrica agregada é incompleta porque obscurece um custo crítico: a adição de habilidades procedimentais pode causar regressões, onde tarefas anteriormente resolvidas por um agente "nu" (sem habilidades) são subsequentemente falhadas após a introdução de habilidades.

Os métodos existentes para gerenciar habilidades focam em detectar e remover apenas habilidades prejudiciais quando estas são recuperadas ou invocadas. No entanto, esses métodos falham em considerar os efeitos de presença exclusiva, onde a descrição de uma habilidade no prompt do sistema altera o comportamento do agente mesmo que o corpo da habilidade nunca seja executado. Além disso, a literatura atual frequentemente trata as falhas induzidas por habilidades como evidência diagnóstica, em vez de investigar os mecanismos específicos (por exemplo, erros de fundamentação vs. erros procedimentais) que as causam.

Metodologia

Os autores conduziram um estudo empírico controlado e de larga escala para decompor o efeito líquido da adição de habilidades em ganhos (tarefas resolvidas apenas com habilidades) e regressões (tarefas falhadas apenas com habilidades).

Configuração Experimental

Escala: 5.832 execuções de condições de tarefa em quase 6.000 tentativas.
Benchmarks: Duas tarefas de automação de escritório:
1. OfficeQA-Pro: Resposta a perguntas complexas sobre documentos financeiros do Tesouro dos EUA (PDFs), exigindo raciocínio de múltiplos passos e extração de tabelas.
2. SpreadsheetBench: Tarefas de manipulação de planilhas em problemas reais de fóruns de Excel, envolvendo fórmulas, filtragem e atualizações de células.
Stacks de Model-Harness: Três combinações distintas foram testadas para garantir robustez:
1. OpenCode + MiniMax-M2.7
2. Codex + GPT-5.4-mini
3. Claude Code + Sonnet 4.6
Bibliotecas de Habilidades: Para cada stack, três bibliotecas distintas foram geradas a partir do mesmo conjunto de sinais de falha usando diferentes pipelines de criação:
1. Anthropic: Refinamento iterativo orientado a medição.
2. OpenAI: Geração estrutural de passagem única.
3. Nossa (Sentient): Autocrítica com reuso, agnóstica a harness.
Condições: Cada tarefa foi executada sob quatro condições: sem habilidades (baseline), e as três bibliotecas de habilidades distintas.
Métricas: O estudo utilizou o teste de McNemar em pares discordantes para determinar a significância estatística, rastreando explicitamente as contagens de Ganhos, Regressões, Falhas Residuais (falharam em ambos) e Mantidas.

Contribuições Principais

1. Decomposição do Efeito Líquido

O artigo introduz uma decomposição pareada de mudanças na taxa de aprovação. Em vez de relatar um único ganho agregado, os autores relatam as contagens específicas de tarefas ganhas versus tarefas quebradas.

Descoberta: Em todas as condições, 324 transições de regressão compensaram 59% dos 553 transições de ganho bruto.
Implicação: As habilidades de "melhor desempenho" muitas vezes não sucedem ao resolver mais novas tarefas, mas sim ao regredir menos tarefas existentes. Bibliotecas com ganhos líquidos idênticos podem ter perfis de confiabilidade vastamente diferentes baseados em suas contagens de regressão.

2. Identificação de Três Mecanismos de Regressão

Através da análise de trajetória, os autores identificaram três mecanismos distintos pelos quais as habilidades causam regressões:

Osmose de Descrição de Habilidade: Uma habilidade altera o comportamento do agente simplesmente por estar presente no contexto (prompt do sistema), mesmo quando o corpo da habilidade nunca é invocado. Este efeito é invisível para métodos de supressão baseados em recuperação.
Deslocamento de Fundamentação (Grounding): O procedimento prescrito pela habilidade sobrepõe a interpretação correta de entradas pelo agente (por exemplo, selecionar a tabela, data ou entidade errada). Este é o principal causador de regressão no OfficeQA-Pro.
Deslocamento de Verificação: O procedimento da habilidade suprime ou substitui verificações que o agente realizaria de outra forma em seus outputs. Este é um modo de falha crítico no SpreadsheetBench, onde fórmulas corretas são geradas, mas falham devido à falta de lógica de validação.

3. Reavaliação de Falhas Residuais

O estudo analisou tarefas que falharam tanto com quanto sem habilidades ("falhas residuais").

Descoberta: Essas falhas estão concentradas nos estágios de fundamentação (input) e verificação (output), não no estágio procedimental (método).
Correção: Ao reavaliar as falhas do SpreadsheetBench usando um motor de planilha completo (em vez de um avaliador apenas de valores), os autores recuperaram 226 tarefas onde o agente havia gerado fórmulas corretas que anteriormente eram marcadas como falhas. Isso destaca que as habilidades existentes enfatizam excessivamente a orientação procedural enquanto sub-suportam a fundamentação e a verificação.

Resultados

Descobertas Quantitativas

Imposto de Regressão: No benchmark OfficeQA-Pro, as regressões cancelaram 66% dos ganhos brutos; no SpreadsheetBench, cancelaram 56%.
Significância Estatística: Após aplicar a correção de Bonferroni para múltiplas comparações, apenas os resultados da stack Claude Code · Sonnet 4.6 no SpreadsheetBench permaneceram estatisticamente significativos ( $p < 0.001$ ). Isso sugere que muitas melhorias aparentes em outras configurações podem ser indistinguíveis de ruído uma vez que as regressões são contabilizadas.
Impacto da Osmose: Na stack OpenCode · MiniMax, onde os corpos das habilidades foram invocados em apenas 5–14% das tarefas, 84–93% dos ganhos foram livres de invocação, demonstrando que a presença das descrições isoladamente impulsiona mudanças significativas de desempenho (tanto positivas quanto negativas).

Distribuição de Mecanismos

OfficeQA-Pro: As regressões foram dominadas pelo Deslocamento de Fundamentação (72.8%), seguido por Osmose (17.3%).
SpreadsheetBench: As regressões foram mais mistas, com Osmose (28.8%) e erros de "Corpo Engajado" (18.9%) sendo proeminentes, junto com um número significativo de artefatos do avaliador.

Significância e Alegações

O artigo argumenta que o campo deve mudar a avaliação de habilidades baseada em melhoria agregada para baseada em efeitos líquidos decompostos (ganhos menos regressões).

Confiabilidade sobre Ganho Bruto: O principal diferenciador entre bibliotecas de habilidades não é quantas novas tarefas elas resolvem, mas quantas tarefas existentes elas quebram menos.
Além da Invocação: As metodologias de avaliação devem separar os efeitos da presença da descrição da habilidade da invocação do corpo da habilidade. Os métodos de seleção atuais falham em medir o efeito de "osmose".
Mudança de Design: As habilidades existentes enfatizam excessivamente o estágio de "método" (orientação procedural), que raramente é a fonte da falha. Os autores afirmam que a confiabilidade depende mais de melhorar a fundamentação (interpretação de entrada) e a verificação (checagem de saída) do que de refinar os passos procedimentais.
Protocolo de Avaliação: Avaliações futuras devem relatar contagens pareadas de ganho/regressão e testar o canal de "presença exclusiva" via ablações controladas (por exemplo, descrições apenas vs. descrições + corpos).

Os autores concluem que, embora as habilidades possam melhorar o desempenho do agente, elas impõem um "imposto de regressão" que é atualmente oculto por métricas agregadas. Abordar isso requer um foco em fundamentação e verificação, em vez de pura otimização procedural.