Structured Output Collapses Answer Diversity Across 44 Language Models
Este estudo demonstra que solicitar formatos de saída estruturados como JSON, mesmo sem a imposição de esquemas, reduz significativamente a diversidade das respostas e aumenta a convergência dos modelos em direção a respostas dominantes em 44 modelos de linguagem, revelando que o mero registro do prompt — e não as restrições de decodificação — impulsiona uma homogeneização mensurável do comportamento do modelo.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
A Vida Secreta da IA: Quando a Polidez Encontra o Código
Imagine que você está conversando com uma biblioteca gigante e superinteligente que leu quase tudo o que já foi escrito. Esta biblioteca é uma Inteligência Artificial, ou "IA", e é famosa por sua habilidade de conversar, contar piadas e escrever histórias. Mas aqui está o detalhe: enquanto os humanos adoram conversar em frases fluidas e desordenadas, os computadores não falam dessa forma. Os computadores falam em caixas estritas e organizadas chamadas "dados estruturados", como JSON ou XML. Pense nisso como a diferença entre um poeta escrevendo um soneto de forma livre e um caixa de supermercado passando itens em um registrador, onde cada item deve caber em um espaço específico.
Por muito tempo, cientistas estudaram como essas IAs se comportam quando estão conversando como poetas. Eles fazem perguntas como "Nomeie uma árvore" e veem o que a IA diz. Geralmente, se você perguntar a 44 IAs diferentes essa questão, elas podem escolher árvores diferentes ou podem todas escolher a mesma por acidente. Este artigo faz uma pergunta simples, mas complicada: O que acontece quando paramos de pedir para a IA conversar como um poeta e a forçamos a responder como um caixa de supermercado? A IA muda de ideia? Ela se torna mais entediante? Ou ela permanece a mesma? Isso importa porque a IA com a qual você fala no seu celular pode ser muito diferente da IA que realmente executa o software em segundo plano, e precisamos saber se essa diferença altera a forma como o mundo funciona.
A Grande Mudança de Personalidade da IA
Neste estudo, pesquisadores utilizaram um teste famoso chamado "Censo de Uma Palavra". Imagine um programa de auditório onde 40 diferentes modelos de IA são questionados com 31 perguntas, como "Nomeie uma árvore" ou "Escolha uma palavra". No jogo original, as IAs apenas respondiam em inglês comum (ou linguagem natural). Os pesquisadores descobriram que, mesmo sem regras, as IAs tendiam a concordar em certas respostas (como "carvalho" para uma árvore), mas ainda mantinham certa personalidade e variedade.
Então, os pesquisadores mudaram as regras. Eles não mudaram as perguntas e não usaram nenhum truque computacional especial para forçar as respostas. Eles simplesmente adicionaram uma instrução minúscula ao final do comando (prompt): "Responda apenas com JSON."
JSON é uma forma de escrever dados que se parece com uma pequena caixa com um rótulo, como {"palavra": "carvalho"}. É a linguagem que o software usa para falar com outro software. Os pesquisadores queriam ver se apenas pedir para a IA falar neste formato mudaria o que ela decidia dizer.
A Grande Descoberta: O "Imposto de Formato"
Os resultados foram surpreendentes. Quando as IAs foram forçadas a responder em JSON, elas se tornaram muito mais parecidas. A variedade de respostas caiu drasticamente.
- Antes da mudança: Na conversa comum, a resposta mais frequente (a "moda") era escolhida cerca de 41% das vezes.
- Depois da mudança: Em JSON, essa mesma resposta saltou para 64% das vezes.
- A variedade: O número de palavras únicas que as IAs criaram caiu de 52 palavras diferentes para apenas 36.
Os pesquisadores chamam isso de um "imposto de formato progressivo". É como um imposto sobre ser único. As IAs que eram mais criativas e únicas na conversa comum perderam a maior parte de sua personalidade quando solicitadas a falar em JSON. Uma IA específica, que era a mais "exploratória" (a mais propensa a escolher respostas incomuns), perdeu 1,31 bits de sua distinção. Isso é como se metade de seu caráter único desaparecesse apenas pelo fato de ter que colocar sua resposta em uma caixa.
Não é um Erro, é um "Registrador"
Você pode pensar que a IA ficou confusa ou que o computador a forçou a escolher a mesma resposta. Mas o estudo descartou isso.
- Sem o Truque de "Resfriamento": Às vezes, quando as pessoas querem que uma IA seja menos aleatória, elas diminuem o controle de "temperatura". Os pesquisadores verificaram e descobriram que a "temperatura" não mudou. As IAs continuavam sendo tão aleatórias em seu pensamento; elas apenas escolheram coisas aleatórias diferentes.
- Não é um Erro de Decodificação: Eles também testaram se o computador estava forçando a resposta ao bloquear outras palavras. Descobriram que, mesmo sem o computador bloquear nada, o simples fato de pedir JSON fez a IA mudar de ideia. A mudança ocorre no "cérebro" da IA (sua "resposta ao registrador"), e não na "boca" do computador (o decodificador).
Pense nisso como uma pessoa que age de forma diferente em uma festa versus em uma entrevista de emprego. Na festa (conversa comum), ela pode contar histórias selvagens e escolher palavras estranhas. Na entrevista de emprego (JSON), ela subitamente se torna muito profissional e escolhe as respostas mais "seguras" e padrão. A IA não está quebrada; ela está apenas fazendo "alternância de código" (code-switching).
O "Afiador", Não o "Reindexador"
O estudo descobriu que a IA não começou a escolher novas respostas. Ela apenas intensificou as respostas que já gostava.
- Em 28 de 31 categorias, a resposta mais popular na conversa comum também era a mais popular no JSON.
- As poucas vezes em que a resposta mudou (como trocar "xadrez" por "Monopoly" para um jogo de tabuleiro), aconteceu porque a resposta original era fraca. O formato JSON atuou como um "afiador", tornando a escolha favorita da IA ainda mais forte, em vez de mudar a escolha inteiramente.
A "Personalidade" está no Formato
Uma das descobertas mais interessantes é que a "personalidade" de uma IA depende do formato.
- Algumas IAs têm uma resposta "padrão" que amam. Por exemplo, uma IA adorava dizer "gouda" para queijo na conversa comum. Mas, ao ser solicitada em JSON, ela parou de dizer "gouda" e voltou para a resposta que agrada à multidão.
- Por outro lado, algumas IAs desenvolveram novos padrões apenas para o JSON. Uma IA disse "cerúleo" para a cor azul 0% das vezes na conversa, mas 100% das vezes no JSON.
- Isso significa que uma IA não tem apenas uma personalidade. Ela tem uma "personalidade de chat" e uma "personalidade de JSON". Elas podem ser totalmente diferentes.
Por Que Isso Acontece?
Os pesquisadores testaram diferentes formatos para ver o que causava a mudança.
- JSON e XML: Estes formatos, que são usados para ferramentas e softwares, fizeram com que as IAs colapsassem nas mesmas respostas.
- YAML e CSV: Estes também são formatos de dados, mas as IAs não mudaram tanto suas respostas.
- Colchetes: Quando solicitadas a apenas colocar a resposta entre colchetes
[resposta], as IAs tornaram-se, na verdade, mais diversas.
Isso sugere que a mudança não é apenas sobre "estrutura". É sobre os formatos específicos que as IAs são treinadas para usar para ferramentas. Como as IAs são treinadas para usar JSON para falar com ferramentas de software, pedir JSON aciona um "modo de ferramenta" que as torna mais conservadoras e uniformes.
O Que Isso Significa Para Você
O artigo conclui com um aviso prático. Geralmente julgamos os modelos de IA pela forma como eles conversam conosco em inglês comum. Pensamos que a "melhor" IA é aquela que dá as respostas mais interessantes e diversas em uma janela de chat. Mas este estudo mostra que, quando essa mesma IA é realmente usada por um software (o que quase sempre exige JSON), ela se torna muito mais entediante e uniforme.
Se você está construindo um aplicativo que usa IA para recomendar filmes, escolher uma árvore ou gerar ideias, a IA que você vê na janela de chat pode ser muito mais criativa do que a IA que realmente está rodando o seu aplicativo. A "versão JSON" da IA é mensuravelmente menos diversa. A lacuna entre a IA com quem conversamos e a IA que faz o trabalho é um custo fixo do formato, não um acidente raro.
Em resumo: Se você quer saber o que uma IA realmente pensa, não peça apenas para ela conversar. Peça para ela preencher um formulário. Você pode se surpreender com o quanto ela se torna mais entediante.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.