🤖 AI

It's Not the Capability: Harness Sensitivity Is Non-Monotone Across LLM Agent Tiers

Este artigo refuta a suposição de que a complexidade ótima do harness diminui monotonicamente com a capacidade do modelo, revelando, por meio de um experimento com 432 execuções, que a sensibilidade do harness é não monotônica e depende criticamente do tipo de modelo, com estruturas verbosas prejudicando os modelos de chat de ponta enquanto orientações estritas beneficiam os modelos de raciocínio de ponta.

Autores originais: Yong-eun Cho

Publicado 2026-05-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yong-eun Cho

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está contratando uma equipe de diferentes trabalhadores para arrumar um quarto bagunçado (o "ambiente de trabalho"). Você tem um gerente que dá instruções a eles (o "arnês").

A crença comum no mundo da IA tem sido: "Quanto mais inteligente o trabalhador, menos detalhadas as instruções que ele precisa." Em outras palavras, um gênio precisa de uma nota simples, enquanto um iniciante precisa de um manual estrito, passo a passo. Este artigo argumenta que essa crença está errada.

Aqui está a análise do que os pesquisadores descobriram, usando analogias simples:

1. O Experimento: Uma Cozinha de Testes para IA

Os pesquisadores montaram uma "cozinha de testes" chamada HEAT-24.

O Quarto: Um ambiente de trabalho digital com 12 arquivos (como código, notas e dados).
Os Trabalhos: 24 tarefas específicas, como "corrija este código quebrado", "encontre um arquivo específico" ou "escreva um relatório em um formato estrito".
Os Trabalhadores: Eles testaram 6 modelos de IA diferentes, variando de "Fronteira" (superinteligente, caro) a "Constrito" (menor, mais barato).
As Instruções: Eles deram aos trabalhadores três tipos de manuais de instrução:
- Leve: Uma nota simples de duas frases.
- Equilibrado: Um guia de quatro passos com uma lista de arquivos permitidos.
- Estrito: Um manual massivo de 6 etapas com regras estritas sobre como verificar o trabalho e exatamente como formatar a saída.

Eles realizaram este experimento 432 vezes para ver qual combinação funcionava melhor.

2. A Grande Surpresa: A Regra "Tamanho Único" Está Quebrada

Os pesquisadores esperavam uma curva suave: IA mais inteligente = Instruções mais simples. Em vez disso, encontraram uma bagunça caótica e não linear. O estilo de instrução "melhor" depende inteiramente de que tipo de IA você está usando, não apenas de quão inteligente ela é.

O "Superpensador" (Modelo de Chat de Fronteira)

Quem é: Um modelo muito inteligente projetado para conversar (como um conversador).
O que aconteceu: Quando recebeu o manual Estrito, ele falhou. Sua taxa de sucesso caiu quase 30%.
A Analogia: Imagine pedir a um poeta brilhante que preencha um formulário de impostos complexo. Se você der a ele um prompt simples ("Escreva um poema"), ele é perfeito. Mas se você der a ele um contrato legal de 10 páginas sobre como escrever o poema, ele fica confuso, começa a divagar e esquece de realmente escrever o poema.
O Resultado: Para este tipo de IA, menos é mais. Instruções simples funcionam melhor.

O "Arquiteto" (Modelo de Raciocínio de Fronteira)

Quem é: Um modelo superinteligente projetado para lógica profunda e resolução de problemas (com "pensamento estendido" ativado).
O que aconteceu: Quando recebeu o manual Estrito, ele performou melhor do que com notas simples. Ele também terminou o trabalho mais rápido.
A Analogia: Imagine um arquiteto mestre. Se você disser "Construa uma casa", ele pode vaguear pensando em 100 possibilidades diferentes. Mas se você der a ele uma planta baixa estrita com medidas exatas e uma lista de verificação, ele começa a trabalhar imediatamente, ignora distrações e constrói a casa perfeitamente.
O Resultado: Para este tipo de IA, mais estrutura é melhor. Ele usa as regras estritas como um andaime para focar seu pensamento.

O "Pequeno mas Poderoso" (Modelo Constrito)

Quem é: Um modelo minúsculo (apenas 2 bilhões de parâmetros) que foi surpreendentemente bem treinado.
O que aconteceu: Ele performou tão bem quanto os modelos grandes e caros em todos os tipos de instrução.
A Analogia: Isso é como um aprendiz pequeno e altamente disciplinado que, apesar de ter um cérebro pequeno, foi treinado tão bem em como seguir ordens que consegue fazer o trabalho tão bem quanto um professor doutor.
O Resultado: Você não pode julgar as "necessidades de arnês" de um modelo apenas pelo seu tamanho (contagem de parâmetros). A qualidade do treinamento importa mais.

O "Iniciante Perdido" (Modelos de Baixa Capacidade)

Quem é: Modelos menores com menos treinamento.
O que aconteceu: Eles lutaram com tudo. Notas simples faziam com que escolhessem os arquivos errados; notas estritas os sobrecarregavam.
O Resultado: Eles precisam de uma abordagem "Cachinhos Dourados" — estrutura suficiente para guiá-los, mas não tanta a ponto de ficarem confusos.

3. Os Dois Principais Erros

Os pesquisadores categorizaram por que a IA falhou:

O Erro "Tagarela" (Violação de Formato): Os modelos inteligentes entendiam a tarefa, mas não conseguiam parar de falar. Em vez de fornecer os dados necessários (como um arquivo JSON), eles escreviam uma longa história explicando por que fizeram isso. Isso aconteceu principalmente quando as instruções eram muito complexas.
O Erro "Porta Errada" (Arquivo Errado): Os modelos menores frequentemente não sabiam qual arquivo tocar. Sem uma lista clara de "arquivos permitidos", eles editariam o documento errado.

4. A Conclusão: Pare de Adivinhar, Comece a Combinar

O artigo conclui que não há uma única maneira "melhor" de fazer prompts para uma IA.

Se você tem uma IA de Chat, mantenha as instruções leves e simples. Não explique demais.
Se você tem uma IA de Raciocínio, dê a ela regras estritas e detalhadas. Ela prospera com estrutura.
Se você tem uma IA pequena e bem treinada, ela pode ser tão boa quanto as grandes, independentemente das instruções.

Em resumo: Você não daria a uma criança um contrato legal complexo, e não daria a um juiz da Suprema Corte um post-it. Você deve combinar o estilo de instrução com o tipo de trabalhador, não apenas com seu nível de inteligência.

Resumo Técnico: Não é a Capacidade: A Sensibilidade ao Harness é Não Monótona entre os Níveis de Agentes LLM

Declaração do Problema

Uma suposição prevalente na implantação de agentes LLM autônomos é a existência de uma relação inversa monótona entre a capacidade do modelo e a complexidade ótima do "harness" (o prompt de nível de sistema que define o escopo da tarefa, operações, formato de saída e verificação). Esta hipótese sugere que modelos de maior capacidade requerem proporcionalmente menos orientação estrutural, enquanto modelos de menor capacidade se beneficiam de prompts cada vez mais estritos e estruturados. Consequentemente, os praticantes frequentemente aplicam harnesses uniformes e altamente estruturados em frotas diversas de modelos.

Este artigo desafia a validade empírica dessa hipótese inversa monótona. Questiona-se se um único gradiente de "mais capacidade iguala menos estrutura" se mantém entre diferentes níveis de modelos e se a relação difere entre modelos de ponta orientados a chat e orientados a raciocínio.

Metodologia

Os autores conduziram um estudo empírico controlado utilizando HEAT-24, um benchmark sintético determinístico de 24 tarefas projetado para verificação no nível do espaço de trabalho.

Design do Benchmark (HEAT-24): O benchmark opera em um espaço de trabalho sintético compartilhado contendo 12 arquivos (YAML, JSON, Python, Markdown, CSV, etc.) inicializados como um repositório git. A verificação é realizada via git diff para detectar alterações nos arquivos. As tarefas são categorizadas em seis tipos: inspeção local, edição estruturada, sensibilidade a formato, recuperação de verificação, reparo e operações multi-etapa. Cada tarefa possui um verificador binário.
Condições do Harness: Três níveis de complexidade estrutural foram testados:
1. Leve: Um prompt de duas linhas (função + instrução de tarefa bruta) sem restrições de formato ou escopo.
2. Equilibrado: Adiciona um modelo de processo de quatro etapas (planejar, executar, verificar, responder) e uma lista de arquivos permitidos.
3. Estrito: Adiciona seis etapas explícitas (pré-voo até relatório), critérios de sucesso explícitos, especificações de verificação e instruções para usar marcadores específicos (<<<WRITE:path>>>) para alterações de arquivo.
Modelos: Seis modelos abrangendo quatro níveis de capacidade foram avaliados (432 execuções no total, 24 tarefas × 3 harnesses × 6 modelos):
- Proprietário de Ponta: Gemini 2.5 Flash.
- Raciocínio de Ponta: Qwen3.5-122B (com pensamento estendido ativado).
- Forte-Aberto: GPT-OSS-120B.
- Constrito: Qwen3.5:2B, LLaMA 3.2 (3B) e Gemma4:e2B (2B).
Métricas: Taxa de Sucesso da Tarefa (TSR) e Taxa de Sucesso da Tarefa Verificada (VTSR). As falhas foram classificadas via uma taxonomia baseada em regras automatizada em seis rótulos: violação de formato, resposta errada, arquivo errado, alteração ausente, alteração não relacionada e testes ainda falham.

Principais Contribuições

Benchmark HEAT-24: Um benchmark determinístico, verificado por git, cobrindo seis categorias de tarefas para avaliar a confiabilidade do agente sob condições variadas de harness.
Refutação Empírica da Monotonicidade: O primeiro teste controlado demonstrando que a relação inversa entre capacidade e complexidade ótima do harness não se mantém universalmente.
Identificação de Padrões Não Monótonos: Evidência de dois fenômenos opostos: um "paradoxo da complexidade do harness", onde harnesses estritos degradam o desempenho de modelos de chat de ponta, e um padrão não monótono onde harnesses estritos melhoram o desempenho de modelos de raciocínio de ponta.
Contagem de Parâmetros vs. Ajuste de Instrução: Descobertas sugerindo que a contagem de parâmetros é um proxy não confiável para a sensibilidade ao harness, sendo a qualidade do ajuste de instrução a variável moderadora crítica.
Taxonomia de Falhas e Diretrizes: Uma taxonomia de falhas de seis rótulos e diretrizes práticas, conscientes do nível, para a seleção de harness.

Resultados

1. O Paradoxo da Complexidade do Harness (Modelos de Chat de Ponta)

Para o Gemini 2.5 Flash, o aumento da verbosidade do harness degradou significativamente o desempenho.

Harness Leve: 95,8% de VTSR.
Harness Equilibrado: 58,3% de VTSR (−37,5 pp).
Harness Estrito: 66,7% de VTSR (−29,2 pp).
Análise: O modo de falha dominante em condições complexas foi a violação de formato (10/10 falhas no equilibrado, 8/8 no estrito). Os autores hipotetizam que instruções elaboradas de múltiplas etapas deslocam a distribuição de geração do modelo em direção à prosa explicativa, fazendo com que ele narre o raciocínio em vez de emitir diretamente o esquema JSON requerido. Este efeito foi específico para tarefas sensíveis a formato; tarefas de edição de arquivo estruturado permaneceram em 100% em todos os harnesses.

2. Padrão Não Monótono (Modelos de Raciocínio de Ponta)

Para o Qwen3.5-122B (com pensamento estendido ativado), a relação foi não monótona e contrária à hipótese.

Harness Equilibrado: 75,0% de VTSR (mais baixo).
Harness Leve: 87,5% de VTSR.
Harness Estrito: 91,7% de VTSR (mais alto).
Latência: Surpreendentemente, o harness estrito resultou na menor latência (23,3s) comparado ao leve (35,4s) e equilibrado (38,5s).
Análise: Os critérios de sucesso explícitos do harness estrito atuaram como andaimes para a cadeia de pensamento do modelo, reduzindo a ambiguidade. O harness equilibrado criou sinais conflitantes que o processo de pensamento estendido amplificou em vez de resolver.

3. Níveis Forte-Aberto e Constrito

Forte-Aberto (GPT-OSS-120B): Mostrou robustez aos harnesses leve e equilibrado (95,8% de VTSR em ambos), mas uma queda modesta sob o estrito (87,5%). Não exibiu o paradoxo completo nem o padrão não monótono.
Heterogeneidade do Nível Constrito:
- Qwen3.5:2B: Exibiu um padrão em U invertido. O harness leve falhou (0% de VTSR) devido a erros de arquivo errado e violação de formato. O harness equilibrado foi ótimo (58,3%), fornecendo apenas andaimes suficientes. O harness estrito colapsou o desempenho (4,2%) devido à sobrecarga de instruções.
- LLaMA 3.2: Mostrou desempenho uniformemente baixo (<21%) em todas as condições, dominado por erros de arquivo errado, indicando uma falta de capacidade básica de seguir instruções.
- Gemma4:e2B: Alcançou 91,7% de VTSR em todas as condições de harness, igualando a estabilidade do modelo Forte-Aberto de 120B, apesar de ter apenas ~2B de parâmetros. Isso desafia a contagem de parâmetros como um proxy suficiente para níveis de capacidade em estudos de sensibilidade ao harness.

4. Modos de Falha

Modelos Capazes: Dominados por violação de formato ao usar harnesses complexos. Eles entendiam as tarefas, mas falharam em suprimir a prosa explicativa.
Modelos Constritos: Dominados por erros de arquivo errado sob harnesses leves (falta de orientação estrutural) e violação de formato sob harnesses estritos (sobrecarga de instruções).

Significância e Alegações

O artigo conclui que a hipótese inversa monótona é empiricamente falsa. A sensibilidade ao harness é não monótona e depende criticamente do tipo de modelo (chat vs. raciocínio) e da qualidade do ajuste de instrução, em vez do nível de capacidade sozinho.

Implicações de Política: Uma política universal de harness é ineficaz.
- Chat de Ponta: Preferir harnesses leves para tarefas sensíveis a formato para evitar violações de formato.
- Raciocínio de Ponta: Preferir harnesses estritos para andaimes da cadeia de pensamento e redução de latência.
- Constrito (Moderado): Harnesses equilibrados são ótimos.
- Constrito (Alto Ajuste): Modelos como Gemma4:e2B são robustos à complexidade do harness independentemente da contagem de parâmetros.
Mudança Teórica: O estudo argumenta que a qualidade do ajuste de instrução é um preditor mais confiável da sensibilidade ao harness do que a contagem bruta de parâmetros. Sugere que futuros frameworks de implantação devem avaliar a capacidade de seguir instruções empiricamente, em vez de depender de classificações de nível baseadas apenas na escala.
Limitações: Os autores observam que o estudo utiliza uma única repetição por condição ( $k=1$ ), tornando os resultados preliminares. O espaço de trabalho é sintético, e a distinção "chat vs. raciocínio" foi um quadro interpretativo post-hoc em vez de uma variável pré-especificada. Os resultados para o Qwen3.5-122B são específicos à configuração de "pensamento estendido" ativada durante o experimento.