Your Prompt Is Not the Only Prompt: How Much Do LLMs Weight Structured-Output Schema Descriptions?
Este artigo demonstra que, embora os prompts de sistema geralmente permaneçam o padrão mais seguro para o posicionamento de instruções, as descrições de esquema são um canal de instrução potente e dependente do modelo que pode sobrepor prompts, tornando o design unificado de esquemas e a validação empírica críticos para otimizar o desempenho de saída estruturada.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você está tentando ensinar um robô muito inteligente, mas um pouco literal, a organizar uma pilha de brinquedos misturados. Você tem duas maneiras de dar instruções a ele: você pode falar diretamente com ele (como um professor dando uma palestra), ou pode entregar a ele um formulário especial com caixas para preencher, onde as instruções estão escritas logo ao lado das caixas. Este é o mundo dos "Grandes Modelos de Linguagem" (LLMs), que são os cérebros por trás de muitas ferramentas de IA modernas. Geralmente, as pessoas pensam que a "conversa" (o prompt) é onde as regras reais residem, e o "formulário" (o esquema de saída estruturada) é apenas um modelo entediante para o robô seguir. Mas ultimamente, desenvolvedores têm se perguntado: o robô realmente lê as notas escritas no formulário, ou ele apenas as ignora e escuta apenas o professor? Essa questão importa porque, se colocarmos nossas regras mais importantes no lugar errado, o robô pode organizar os brinquedos completamente errado, quebrando os aplicativos e ferramentas de que dependemos todos os dias.
Uma pesquisadora chamada Sin-Ying (Alina) Lin decidiu encerrar esse debate com um experimento inteligente. Em vez de discutir sobre isso, ela organizou um jogo onde um robô tinha que classificar mensagens curtas em quatro categorias secretas, usando nomes inventados como "tomil" e "varek" para que o robô não pudesse adivinhar as respostas com base no conhecimento do mundo real. Ela então jogou um jogo de "dança das cadeiras" com as instruções, movendo as mesmas definições da palestra do professor (o prompt do sistema) para as notas no formulário (a descrição do esquema) e, às vezes, colocando-as na caixa de chat do usuário.
O que ela descobriu foi um pouco surpreendente: os ouvidos do robô não têm todos o mesmo tamanho. Para alguns modelos, como o GPT-4.1 e o GPT-5.4 (sem modos de pensamento especiais), a voz do professor era a rainha. Quando as definições eram movidas para o formulário, esses robôs ficavam confusos e sua precisão caía cerca de 11 a 13 pontos percentuais. Eles pareciam pensar: "O formulário é apenas para preencher; as regras reais estão na fala!". No entanto, para outros modelos, como o Claude Haiku 4.5, o formulário era, na verdade, o chefe. Quando as instruções no formulário eram alteradas para estarem erradas, o desempenho deste robô despencava de 52,5% de precisão para uns terríveis 7%. Descobriu-se que, para alguns robôs, as notas no formulário são tão altas que abafam as instruções corretas do professor.
O artigo também descobriu um "truque de mágica" para consertar os robôs que ignoravam o formulário. Ao adicionar uma etapa obrigatória onde o robô tinha que escrever seu raciocínio em uma caixa antes de poder escolher a resposta final, o desempenho saltou de 15 a 24 pontos percentuais. Era como se forçar o robô a "mostrar seu trabalho" o fizesse prestar atenção às regras escritas no formulário.
Portanto, a grande lição não é que um lugar seja sempre melhor que o outro. Em vez disso, o artigo sugere que cada modelo de robô tem sua própria personalidade e escuta diferentes canais com volumes diferentes. A aposta mais segura por enquanto é manter suas regras mais importantes no prompt do sistema (a voz do professor), mas você deve ter cuidado para não escrever regras conflitantes no formulário, ou alguns robôs seguirão as regras erradas. A verdadeira lição é que você não pode apenas adivinhar; você tem que testar cada robô para ver onde ele escuta melhor, e às vezes, simplesmente mudar o formato do formulário para incluir uma "etapa de pensamento" é um conserto mais poderoso do que reescrever as instruções inteiramente.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.