🤖 AI

Format Sensitivity Index: Token-Controlled Prompt Wrapper Robustness and Schema Compliance in LLM Benchmarking

Este artigo introduz o Índice de Sensibilidade de Formato (FSI) e o Índice de Sensibilidade de Analisabilidade (PSI) para demonstrar que pequenas diferenças de formatação em wrappers de prompts causam variações significativas de pontuação dependentes do modelo e falhas de conformidade, argumentando que a precisão do benchmarking sem considerar essa variância é estatisticamente frágil.

Autores originais: Deep Pankajbhai Mehta

Publicado 2026-07-14

📖 4 min de leitura☕ Leitura rápida

CC0 1.0

Autores originais: Deep Pankajbhai Mehta

Artigo original dedicado ao domínio público sob CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um juiz em um show de talentos, mas, em vez de ouvir os cantores, você só tem permissão para ler as letras deles. Agora, imagine que alguns cantores são instruídos a escrever suas letras em uma folha de papel comum, enquanto outros são forçados a escrevê-las dentro de uma caixa JSON chique e rígida, e outros ainda devem envolver suas palavras em um sanduíche de "BEGIN/END".

Você esperaria que o talento do cantor permanecesse o mesmo, certo? A música não deveria mudar só porque o papel mudou. Mas, de acordo com este estudo de Deep Pankajbhai Mehta, da Adobe, é exatamente isso que acontece com os modelos de IA. O "papel" (o wrapper do prompt) importa tanto que pode inverter todo o ranking, fazendo um gênio parecer um novato e um novato parecer um gênio.

A Grande Mudança de Formato
Os pesquisadores realizaram um experimento massivo, gerando 140.000 respostas de quatro modelos diferentes de IA (variando de 7 bilhões a 72 bilhões de "células cerebrais") em sete tarefas de perguntas e respostas. Eles testaram cinco estilos diferentes de "wrapper":

Plain (Simples): Apenas a resposta.
JSON: Formato de código de computador estrito.
Structured (Estruturado): Pares de chave-valor.
Structured with Delimiters (Estruturado com Delimitadores): Pares de chave-valor com tags especiais como <BEGIN ANSWER>.
Deliberate (Deliberado): Um rascunho para pensar, seguido pela resposta.

O resultado? Os modelos foram incrivelmente sensíveis a essas regras de formatação. Para alguns modelos, mudar o wrapper fez com que sua precisão oscilasse drasticamente. Um modelo, o Phi-4, foi uma total diva dramática: sua precisão saltou absurdamente 0,763 (uma variação enorme) apenas ao mudar o wrapper. Em contraste, o gigante Qwen-2.5-72B foi um astro relaxado, quase não se movendo, com uma oscilação de apenas 0,024.

O Problema do "Você Consegue Ler Isso?"
Por que as pontuações mudaram tanto? O artigo sugere que não foi porque a IA ficou subitamente mais inteligente ou mais burra em relação às perguntas reais. Foi, na maior parte, um problema de conformidade.

Pense nisso como uma máquina de vendas que só aceita moedas. Se você tentar inserir uma nota de um dólar (mesmo sendo um dólar válido), a máquina a rejeita. No estudo, quando a IA tentava seguir uma regra JSON estrita, mas acidentalmente adicionava um delimitador de código markdown (como o símbolo ```), a máquina (o extrator de respostas) não conseguia ler. A resposta era marcada como "não analisável" (unparseable), o que contava como uma resposta errada.

Os dados mostram uma forte ligação: quando a IA falhava em ser "analisável" (legível por máquina), sua precisão frequentemente desabava para perto de zero. O modelo Phi-4, usando o wrapper JSON estrito, produziu saídas começando com um delimitador de código markdown em 85,3% das gerações, resultando em uma analisabilidade de apenas 2,8% e uma precisão de 0,7%. Os pesquisadores descobriram que a "analisabilidade" era um grande preditor de sucesso, explicando cerca de 82% das diferenças restantes nas pontuações após considerar o modelo e a tarefa.

O Que Isso Significa para o Futuro
O artigo argumenta que reportar um único número de precisão para uma IA é como reportar uma única temperatura sem dizer se é em Fahrenheit ou Celsius — é enganoso. Se a escolha do wrapper pode mudar uma pontuação em 0,76, esse número único é "estatisticamente frágil".

Os autores sugerem que, ao testar IAs, não devemos apenas escolher um wrapper e torcer pelo melhor. Em vez disso, devemos:

Reportar a faixa de pontuações entre diferentes wrappers (como um "índice de sensibilidade").
Verificar se as respostas são realmente analisáveis.
Ter cuidado ao usar formatações estritas em aplicativos do mundo real, a menos que a IA seja forçada a seguir as regras pelo seu decodificador (a parte que gera o texto), e não apenas pelo prompt.

A Conclusão
Este estudo não diz que a IA está quebrada; diz que nossa fita métrica está bamba. O "Índice de Sensibilidade de Formato" (FSI) e o "Índice de Sensibilidade de Analisabilidade" (PSI) são novas ferramentas para medir o quanto a pontuação de um modelo depende do wrapper. As descobertas sugerem que, para alguns modelos, a escolha do wrapper é mais importante do que a própria inteligência do modelo. Até que resolvamos isso, a "melhor" IA em um ranking pode ser apenas aquela que teve a sorte de gostar do estilo de formatação específico da pessoa que construiu o teste.

Resumo Técnico: Índice de Sensibilidade de Formato e Wrappers de Prompt Controlados por Tokens

Declaração do Problema

Os benchmarks de Grandes Modelos de Linguagem (LLMs) dependem cada vez mais de wrappers de prompt — templates contendo delimitadores, instruções JSON ou formatação passo a passo — para estruturar as saídas dos modelos. Embora pretendidos como semanticamente irrelevantes, esses wrappers raramente são padronizados entre artigos de pesquisa, kits de ferramentas ou fornecedores. Essa falta de padronização cria um modo de falha metodológica: o desempenho relatado de um modelo pode flutuar significativamente baseando-se apenas na escolha do wrapper, em vez de sua capacidade subjacente.

O problema central é que muitos pipelines de benchmark relatam um único escore de acurácia por modelo por tarefa, ignorando modos de falha de saída estruturada (ex: adesão ao esquema, chamadas de ferramentas) que dominam as implantações no mundo real. Quando um modelo falha ao processar uma saída de acordo com o extrator do benchmark (ex: devido a cercas de código markdown ou chaves JSON ausentes), a execução é pontuada como incorreta. Este "problema de conformidade" pode fazer com que um modelo pareça quase aleatório sob um wrapper JSON estrito, enquanto apresenta bom desempenho sob um wrapper baseado em delimitadores, levando a conclusões potencialmente invertidas em leaderboards.

Metodologia

Os autores propõem um protocolo controlado por tokens para isolar a variância causada especificamente pela formatação do wrapper, controlando as diferenças de comprimento de prompt e contagem de tokens.

Configuração Experimental

Modelos: Quatro modelos ajustados para instrução (instruct-tuned) acessados via OpenRouter, abrangendo de 7B a 72B de parâmetros: Mistral-7B-Instruct-v0.3, Gemma-2-9B-IT, Phi-4 e Qwen-2.5-72B-Instruct.
Tarefas: Sete benchmarks de estilo QA amplamente utilizados (BoolQ, PIQA, ARC-Challenge, HellaSwag, WinoGrande, CommonsenseQA, GSM8K), com 200 exemplos amostrados por tarefa.
Famílias de Wrappers: Cinco tipos distintos de wrappers foram avaliados:
1. Plain: Instruções mínimas.
2. JSON: JSON estrito com um campo answer.
3. Structured: Campos chave-valor.
4. Structured Delim: Campos chave-valor com tokens de delimitador explícitos (<BEGIN ANSWER>).
5. Deliberate: Um scratchpad para raciocínio seguido por um campo de resposta final.
Controle de Tokens: Para mitigar o confundimento de variações de comprimento de prompt, os prompts foram preenchidos (padded) para um orçamento de caracteres fixo por tarefa. As contagens de tokens realizadas foram registradas, e uma métrica de dispersão relativa de tokens ( $\Delta_{tok}$ ) foi computada. Os resultados foram reportados no conjunto de dados completo e em um subconjunto correspondente filtrado para $\Delta_{tok} \le 5\%$ .
Geração: 140.000 gerações totais foram produzidas (4 modelos $\times$ 7 tarefas $\times$ 5 wrappers $\times$ 200 exemplos $\times$ 5 sementes).

Métricas

O artigo introduz duas métricas primárias de sensibilidade:

Índice de Sensibilidade de Formato (FSI): O intervalo de acurácia induzido pela escolha do wrapper para um determinado modelo e tarefa ( $FSI = \max_f A_{m,t,f} - \min_f A_{m,t,f}$ ).
Índice de Sensibilidade de Processabilidade (PSI): O intervalo correspondente na processabilidade da resposta ( $PSI = \max_f P_{m,t,f} - \min_f P_{m,t,f}$ ).

Para abordar a sensibilidade ao ruído das estatísticas de intervalo, os autores também reportam o FSI normalizado (nFSI) e intervalos de confiança de bootstrap.

Principais Resultados

1. Variância Extrema entre Modelos

A sensibilidade de formato varia drasticamente entre os modelos.

Qwen-2.5-72B demonstrou quase invariância de formato, com um FSI médio de 0.024 (95% CI [0.014, 0.035]).
Phi-4 exibiu alta sensibilidade, com um FSI médio de 0.763 (95% CI [0.607, 0.872]).
O FSI médio variou em mais de 30 vezes entre os modelos testados.
A sensibilidade normalizada (nFSI) acentuou este contraste, com o Phi-4 mostrando um nFSI de 2.37, indicando que a escolha do wrapper pode dominar o escore médio.

2. Processabilidade como Principal Driver

A acurácia e a processabilidade estão fortemente correlacionadas ( $r = 0.825$ ). Uma análise de regressão de efeitos fixos ( $A_{m,t,f} = \beta P_{m,t,f} + \alpha_m + \gamma_t + \delta_f + \epsilon$ ) revelou que a processabilidade é um forte preditor de acurácia ( $\hat{\beta} = 0.819$ ), explicando uma parte substancial da variância residual ( $R^2 = 0.82$ ).

Estudo de Caso: Sob o wrapper JSON estrito, o Phi-4 produziu saídas com cercas de código markdown em 85.3% das gerações, resultando em uma processabilidade de 2.8% e uma acurácia de 0.7%.
Isso sugere que muitas mudanças de escore induzidas pelo wrapper são impulsionadas pelo fato de a saída ser ou não consumível por máquina (processável), em vez de uma falta de capacidade de raciocínio.

3. Distribuição de Desempenho dos Wrappers

Não existe um único wrapper universalmente ideal. Embora os wrappers estruturados com delimitadores tenham vencido com mais frequência (12 de 28 combinações de modelo-tarefa), os wrappers "deliberate" e "structured" também venceram de forma não trivial. Isso apoia o argumento de reportar uma distribuição de escores sobre os wrappers em vez de selecionar um único formato "melhor".

4. Estabilidade do Controle de Tokens

O protocolo de preenchimento de tokens reduziu, mas não eliminou, a dispersão de tokens. A mediana da dispersão relativa de tokens foi de 4.1%. Crucialmente, as conclusões permaneceram estáveis ao filtrar para baixa dispersão de tokens ( $\Delta_{tok} \le 5\%$ ), com o FSI médio mudando apenas de 0.391 para 0.394.

Significância e Recomendações

O artigo argumenta que reportar acurácia sem considerar a variância do wrapper e a conformidade é estatisticamente frágil. Os autores fornecem as seguintes recomendações:

Para Benchmarking: Artigos e leaderboards devem reportar:
1. A família específica de wrapper utilizada.
2. Contagem de tokens do prompt.
3. Taxas de processabilidade.
4. Uma métrica de sensibilidade consciente da incerteza (ex: FSI com intervalos de confiança) ou o intervalo de acurácia $[\min_f A, \max_f A]$ .
Para Implantações de Saída Estruturada: O prompting sozinho é frequentemente insuficiente para esquemas estritos. Se os consumidores a jusante (downstream) forem frágeis, o colapso da processabilidade pode dominar a acurácia medida. Os autores sugerem usar FSI e PSI como diagnósticos para determinar quando restrições de tempo de decodificação (ex: gramáticas, decodificação restrita por esquema ou modos de saída estruturada de fornecedores) são necessárias.

Limitações

Os autores reconhecem diversas limitações:

O FSI é uma estatística de intervalo suscetível a outliers, embora mitigada pelo bootstrapping.
O controle de tokens foi alcançado via preenchimento de caracteres, não por equalização estrita de tokens.
O conjunto de modelos é pequeno e mistura escalas, o que significa que a robustez pode refletir o tamanho do modelo tanto quanto a arquitetura.
O estudo foca em QA de turno único; uso de ferramentas e geração de código em múltiplos turnos podem exibir dinâmicas diferentes.
A rigidez do parser varia; o estudo reporta sobre extração estrita e normalizada, mas não faz o benchmarking direto de modos de aplicação em tempo de decodificação.

Em conclusão, o artigo postula que o benchmarking confiável e sistemas de saída estruturada exigem medir e, muitas vezes, reduzir a sensibilidade de formato, tratando os wrappers de prompt como um confundimento significativo e sub-reportado na avaliação de LLMs.