The Format Tax

Título: The Format Tax (O Imposto de Formato)

Autores: Ivan Yee Lee, Loris D'Antoni, Taylor Berg-Kirkpatrick (UC San Diego)

1. O Problema: A "Taxa de Formato"

O artigo identifica um fenômeno crítico na interação entre Modelos de Linguagem Grandes (LLMs) e sistemas de software: a exigência de saída estruturada (como JSON, XML, LaTeX ou Markdown) atua como um "imposto" que degrada significativamente o desempenho de raciocínio e escrita dos modelos.

• A Hipótese Comum: Acredita-se que a degradação de desempenho ocorre principalmente devido ao decodificação com restrições gramaticais (Grammar-Constrained Decoding - GCD). A ideia é que forçar o modelo a escolher apenas tokens válidos durante a geração distorce a distribuição de probabilidade, prejudicando a qualidade do raciocínio.
• A Descoberta do Artigo: Os autores demonstram que essa hipótese está incompleta. A maior parte da perda de acurácia não ocorre no decodificador, mas sim no prompt. O simples ato de instruir o modelo a gerar uma saída estruturada (antes mesmo de qualquer restrição de decodificação ser aplicada) causa a maior parte da degradação. Isso é chamado de "Imposto de Formato".

2. Metodologia

Os pesquisadores realizaram uma avaliação sistemática e rigorosa para isolar as fontes de degradação.

• Modelos Avaliados:
  • 6 Modelos Open-Weight: (ex: Qwen3, OLMo, SmolLM, Nemotron) executados localmente via vLLM.
  • 4 Modelos Closed-Weight (API): (ex: GPT-5, Claude Haiku, Grok) utilizando endpoints nativos de saída estruturada.
• Tarefas e Domínios:
  • Raciocínio: MATH-500 (matemática competitiva), GPQA-Diamond (ciência de pós-graduação), ZebraLogic (satisfação de restrições lógicas).
  • Escrita: WritingBench (tarefas de escrita aberta).
• Formatos de Saída: JSON Schema, XML, Markdown e LaTeX.
• Estratégias Experimentais (Variáveis Chave):
  1. Decodificação: Comparação entre geração livre (sem restrições) e geração com decodificação gramaticalmente restrita (GCD).
  2. Prompt: Variação do conteúdo do prompt (presença de exemplos few-shot, descrição do esquema, ou apenas a tarefa).
  3. Estratégia de Geração:
     • 1-Turn: Geração direta da resposta estruturada.
     • 2-Turn: Primeira rodada gera resposta livre (raciocínio), segunda rodada reformata para o formato estruturado.
     • Thinking: Uso de "scratchpads" (trilhas de pensamento ocultas) antes da geração da resposta final.

3. Contribuições Principais e Resultados Chave

A. A Fonte Dominante do Problema é o Prompt

Ao comparar configurações onde o prompt solicitava formato mas não havia restrição de decodificação (GET·) contra configurações com restrição (GETC), os autores descobriram que:

• A degradação de desempenho é quase idêntica em ambos os casos.
• O decodificador (GCD) contribui apenas marginalmente para a perda de acurácia (em média -1.6 pontos percentuais).
• O prompt (a instrução de formato) é o principal culpado, causando a maior parte da queda de desempenho (em média -3.9 pontos percentuais).
• Conclusão: O modelo tenta satisfazer a restrição de formato durante o processo de raciocínio, o que interfere na qualidade do pensamento, independentemente de o decodificador estar bloqueando tokens inválidos.

B. Mitigação: Desacoplar Raciocínio de Formatação

A solução proposta é separar as preocupações de raciocínio e formatação. O estudo testou duas abordagens:

1. Geração em Duas Etapas (2-Turn): O modelo gera uma resposta livre primeiro e, em seguida, é solicitado a reformatar essa resposta.
   • Resultado: Recuperou a maior parte da acurácia perdida em modelos open-weight.
2. Pensamento Estendido (Thinking): Permitir que o modelo gere uma trilha de pensamento oculta antes de produzir a saída estruturada.
   • Resultado: Também recuperou a acurácia, embora com mais variabilidade dependendo do modelo e da tarefa.

C. A Lacuna entre Modelos Open e Closed

• Modelos Open-Weight: Sofrem consistentemente com o "imposto de formato", mostrando quedas de acurácia significativas em todas as tarefas e formatos testados.
• Modelos Closed-Weight (Recentes): Modelos como claude-haiku-4.5, grok-4.1-fast e gpt-5.4-nano mostraram quase zero degradação ou até ganhos de desempenho ao gerar saídas estruturadas.
• Implicação: O problema não é inerente à geração estruturada, mas sim uma lacuna de capacidade nos modelos open-weight atuais que ainda não foram treinados ou ajustados para lidar robustamente com essas restrições.

D. Estatísticas de Desempenho

• Em modelos open-weight, a exigência de formato reduziu a acurácia em média de 5% a 15% dependendo da tarefa e do modelo.
• A estratégia de 2-Turn recuperou cerca de 6.8 pontos percentuais de acurácia em média, revertendo a maior parte do "imposto".
• Em tarefas de escrita, a qualidade do texto caiu substancialmente com LaTeX direto, mas foi recuperada ao separar a geração do conteúdo da formatação.

4. Significado e Implicações

1. Revisão de Arquitetura de Sistemas: A prática comum de exigir JSON/XML diretamente na geração do LLM para agentes e ferramentas pode estar prejudicando a inteligência do sistema. O artigo sugere que pipelines de duas etapas (raciocínio livre -> formatação) são superiores para modelos atuais.
2. Direção para Pesquisa em Modelos Open-Weight: O fato de modelos fechados não sofrerem desse imposto sugere que a robustez à formatação é uma habilidade que pode ser aprendida. A comunidade open-weight deve considerar a robustez a restrições de formato como um objetivo explícito de treinamento (fine-tuning ou RL).
3. Limitações das Técnicas de Decodificação: O foco excessivo da comunidade em melhorar algoritmos de decodificação (como GCD e GAD) pode estar ignorando o problema real, que está na interface de prompt e na arquitetura de geração.
4. Custo Prático: Embora a solução de 2-Turn seja eficaz, ela introduz latência e custo de tokens (duas chamadas de API). No entanto, para aplicações críticas onde a precisão do raciocínio é vital, o custo é justificado.

Conclusão

O artigo "The Format Tax" desafia a suposição de que a formatação estruturada é uma operação transparente para LLMs. Ele demonstra que, para a maioria dos modelos open-weight atuais, exigir uma saída estruturada degrada o raciocínio principalmente porque o modelo tenta resolver o problema de formatação simultaneamente ao raciocínio. A solução mais eficaz não é melhorar o decodificador, mas desacoplar o raciocínio da formatação, seja via múltiplas etapas de geração ou pensamento estendido. A descoberta de que modelos fechados de última geração já superaram esse problema indica que a solução é viável e deve ser um foco central para o desenvolvimento futuro de modelos abertos.

Código Disponível: https://github.com/ivnle/the-format-tax