Resumo Técnico: Design de Prompts em Escala

Declaração do Problema

Profissionais que projetam sistemas de Grandes Modelos de Linguagem (LLMs) atualmente tomam três decisões críticas com pouca evidência controlada: como formatar instruções e contexto (markdown, texto simples, prosa ou tabular), quantas instruções simultâneas um sistema pode lidar antes que a conformidade degrade, e quanto contexto um modelo pode reter antes que a recuperação e a honestidade falhem. A literatura existente geralmente estuda esses fatores isoladamente — ou variando o formato enquanto mantém a escala constante, ou variando a escala (contagem de instruções ou comprimento de contexto) enquanto mantém o formato fixo. Este artigo argumenta que o formato não pode ser avaliado isoladamente da escala; um formato que apresenta bom desempenho em baixa escala pode falhar catastroficamente em alta escala, e vice-versa.

Metodologia

Os autores conduziram dois experimentos controlados usando um único corpus sintético livre de contaminação, o "Livro de Veyra", gerado deterministicamente a partir de uma semente fixa sem envolvimento de LLM. O corpus contém 8.780 entidades fictícias com nomes únicos e atributos interconectados, garantindo a ausência de vazamento de pré-treinamento.

O Corpus e suas Representações:
Os fatos subjacentes foram renderizados em quatro formatos distintos, mantendo o conteúdo byte-idêntico em todas as versões:

1. Markdown: Cabeçalhos e tópicos de chave-valor em negrito.
2. Texto Simples (Plain Text): Conteúdo idêntico com toda a marcação removida.
3. Prosa: Sentenças narrativas fluidas.
4. Tabela: Tabelas de chave-valor em markdown.

Experimento 1: Degradação de Seguimento de Instruções

• Design: Os modelos foram incumbidos de escrever ensaios enquanto aderiam a $N$ regras simultâneas e programaticamente verificáveis (onde $N \in \{10, 20, 40, 80, 120, 160\}$).
• Variáveis: O bloco de regras foi renderizado nos quatro formatos e colocado tanto no prompt de sistema quanto na vez do usuário (user turn).
• Modelos: Cinco modelos em dois níveis de capacidade e três famílias: Claude Sonnet 5, Claude Haiku, Gemini Flash, Qwen 27B e Qwen 35B.
• Métrica: Taxa de resposta perfeita (todas as regras satisfeitas).

Experimento 2: Alucinação através da Escada de Contexto

• Design: O Livro de Veyra foi fatiado em uma escada de contexto variando de 2k a 512k tokens.
• Sondas (Probes): Em cada degrau, três tipos de sondas foram testados:
  1. Recuperação (Recall): Recuperar fatos específicos e impossíveis de adivinhar.
  2. Falsa Premissa: Testar a concordância com falsidades declaradas (sicofancia).
  3. Fato Ausente: Testar a fabricação de fatos nunca declarados.
• Métricas: Precisão de recuperação, taxa de sicofancia, taxa de fabricação e taxa de recusa.

Principais Contribuições

1. Análise Conjunta de Degradação e Posicionamento: O artigo cruza as curvas de degradação de contagem de instruções com ambos o formato e o posicionamento do prompt (sistema vs. usuário), descobrindo que os efeitos de posicionamento rivalizam ou excedem os efeitos de formato em magnitude, embora a direção seja específica de cada modelo.
2. Fatorial de Quatro Formatos e Longo Contexto: Mede recuperação, sicofancia e fabricação conjuntamente em uma escada de 2k–512k tokens em quatro formatos sobre um único corpus, uma combinação não explorada anteriormente.
3. Decomposição Estrutura-vs-Sintaxe: Ao manter o conteúdo idêntico entre markdown estruturado em listas, tabelas, texto simples não estruturado e prosa, o estudo isola se a "estrutura" ajuda de forma geral ou se a "estrutura tabular" é o ingrediente ativo específico.
4. Precisão Ajustada pelo Overhead de Tokens: Os autores demonstram que as vantagens de precisão de formato nem sempre sobrevivem quando ajustadas pelo custo de overhead de tokens (22%–37% maior para formatos estruturados).
5. VeyraBench: A liberação do harness completo do benchmark, gerador de corpus e resultados brutos para reprodução byte-idêntica.

Principais Resultados

Seguimento de Instruções (Experimento 1)

• O Piso de Degradação (The Decay Floor): As taxas de resposta perfeita colapsam para zero em $N=80$ para todos os modelos, formatos e posicionamentos. Este "efeito de piso" é independente do formato.
• Não há Vencedor de Formato Universal: Nenhum modelo favoreceu consistentemente o markdown. Um modelo (Qwen 35B) favoreceu de forma confiável o texto simples sobre o markdown em contagens de instruções elevadas.
• O Posicionamento Importa: Mover o bloco de regras do prompt de sistema para a vez do usuário alterou significativamente a adesão (até 8,7 pontos percentuais) para quatro de cinco modelos. A direção do efeito foi específica para cada modelo (ajudando alguns, prejudicando outros).
• Colapso Específico do Modelo: O Gemini Flash exibiu um colapso agudo e específico do modelo para os formatos de prosa e tabela em $N \ge 40$, ligado a um modo de falha de "vazamento de raciocínio oculto" onde o modelo produzia texto de verificação interna em vez do ensaio.

Alucinação de Longo Contexto (Experimento 2)

• Precisão de Recuperação: A recuperação permaneceu próxima ao teto (0,98–1,00) até 64k–128k tokens, então degradou drasticamente. A degradação foi dependente do formato e acompanhou a proximidade ao limite efetivo de contexto do modelo, em vez da contagem absoluta de tokens.
• Sem Ranking Universal: Nem a hipótese de que "estrutura ajuda" nem a de que "tabelas ajudam" se sustentaram. A prosa foi o melhor desempenho em várias células de alto estresse, enquanto o texto simples foi o pior em outras. O ranking dos formatos inverteu-se entre modelos e comprimentos de contexto.
• Resultados Nulos para Fabricação e Sicofancia:
  • Fabricação: 0/5.760 sondas de fato ausente resultaram em fabricação.
  • Sicofancia: A concordância com premissas falsas permaneceu insignificante ($\le 8,3\%$) durante todo o processo.
• A Ascensão da Recusa: O principal modo de falha próximo aos limites de contexto não foi a alucinação, mas a recusa direta em responder. As taxas de recusa subiram bruscamente (até 89,6% para o Claude Haiku em seu limite) conforme o comprimento do contexto aumentava, um modo de falha distinto da sicofancia ou fabricação.
• Precisão Ajustada pelo Custo: Nos casos em que a precisão bruta diferiu significativamente, o overhead de tokens dos formatos estruturados (por exemplo, tabelas custando 1,367× o texto simples) frequentemente reverteu o ranking, tornando o texto simples ou a prosa a escolha mais eficiente.

Significância e Alegações

O artigo alega que a suposição prevalecente de que o formato pode ser otimizado isoladamente é um erro. A descoberta principal é que nem o efeito de um formato nem seu sinal podem ser previstos sem considerar a escala.

• Dependência de Escala: O desempenho de um formato está intrinsecamente ligado à contagem de instruções e ao comprimento do contexto. Uma "boa prática" para 10 instruções pode ser um modo de falha para 100.
• Recusa sobre Alucinação: À medida que os modelos se aproximam de seus limites de contexto, o modo de falha dominante muda de gerar informações falsas (alucinação/sicofancia) para recusar-se a responder. Sistemas que monitoram apenas respostas erradas podem perder essa degradação crítica.
• Especificidade do Modelo: Não existe um "melhor" formato ou posicionamento universal. Os efeitos são altamente específicos do modelo; uma configuração que funciona para um modelo pode degradar outro.
• Implicação Prática: Profissionais não devem adotar por padrão o markdown ou qualquer formato específico sem testes empíricos em seu modelo e escala específicos. Além disso, quando as contagens de instruções excedem ~40, a solução é provavelmente arquitetural (divisão de tarefas) em vez de engenharia de prompt (reformatação).

Os autores concluem que as afirmações sobre formatos de prompt ideais devem especificar a escala (contagem de instruções ou comprimento de contexto) na qual foram medidas para serem significativas. O artigo fornece o VeyraBench para permitir que a comunidade re-meça esses limiares conforme os modelos evoluem.