Language Models Agree With Each Other, Not With Readers

A Câmara de Eco da IA vs. O Leitor Silencioso

Imagine que você está em uma sala cheia de pessoas tentando adivinhar sobre o que trata um livro misterioso e invisível. Se você pedir a um grupo de humanos para ler uma página e destacar as frases mais importantes, obterá um caos desordenado e belo. Uma pessoa destaca uma piada engraçada, outra marca um fato triste e uma terceira circula uma palavra de que gosta pelo som. Eles estão todos lendo por seus próprios motivos, sem instruções, sem prêmios e sem ninguém dizendo o que é "importante". É assim que a leitura real funciona: é pessoal, caótica e cheia de divergências.

Agora, imagine que você substitui esses humanos por uma frota de computadores superinteligentes, todos treinados na mesma biblioteca massiva da internet. Você faz exatamente a mesma pergunta: "Quais frases nesta história importam?" Você poderia esperar que eles fossem tão desordenados quanto os humanos, ou talvez até mais diversos por serem máquinas diferentes. Mas aqui está a reviravolta: esses computadores estão começando a soar exatamente como uns aos outros. Eles estão escolhendo as mesmas frases, com um nível de concordância que nenhum grupo de humanos jamais alcança. Este artigo investiga esse fenômeno estranho. Ele pergunta: Esses modelos de IA estão apenas copiando uns aos outros ou, de alguma forma, todos decidiram por uma maneira única e "correta" de ler? E se eles concordam tanto entre si, eles concordam conosco?

O Experimento: Uma Batalha de Destaques

Para encontrar a resposta, os pesquisadores montaram um jogo único. Eles não contrataram pessoas para agir como sujeitos de teste nem as pagaram para seguir regras. Em vez disso, observaram uma plataforma social real onde milhares de pessoas comuns haviam destacado textos em 120 artigos da web por seus próprios motivos pessoais — talvez para lembrar um fato, citar um amigo ou apenas porque uma frase parecia certa. Crucialmente, esses leitores não podiam ver os destaques uns dos outros; eles estavam lendo em total isolamento.

Então, os pesquisadores pediram a 18 modelos de IA diferentes (de grandes empresas como OpenAI, Google e Anthropic, variando de modelos pequenos a modelos "fronteira" superpoderosos) para ler os mesmos 120 artigos e selecionar os 20% de frases que pareciam mais importantes. Eles compararam o quanto as IAs concordavam entre si versus o quanto os humanos reais concordavam entre si.

A Grande Descoberta: IAs São Melhores Amigas (Mas Não Com Você)

Os resultados foram surpreendentes. Quando dois modelos de IA diferentes liam o mesmo artigo, eles concordavam sobre quais frases eram importantes cerca de 2,3 vezes mais do que dois leitores humanos aleatórios concordavam entre si.

Para colocar em perspectiva:

• Dois humanos lendo a mesma página podem compartilhar cerca de 4,1 frases destacadas de um conjunto típico de 14.
• Dois modelos de IA lendo essa mesma página compartilhavam cerca de 8,7 frases.
• Ainda mais chocante: os dois modelos de IA mais poderosos de empresas rivais (GPT-5.4 e Claude Opus 5) concordavam entre si 5,1 vezes mais do que dois humanos faziam. Na verdade, eles concordavam entre si quase tanto quanto um único humano concorda consigo mesmo ao ler o mesmo texto duas vezes!

O artigo chama isso de "convergência". Significa que as IAs estão todas marchando em passo de marcha, escolhendo as mesmas frases "melhores", enquanto os humanos estão todos marchando em direções diferentes.

O Que NÃO É (Eliminando as Explicações Erradas)

Os pesquisadores foram muito cuidadosos para garantir que isso não fosse um truque. Eles testaram e descartaram várias razões óbvias pelas quais as IAs poderiam estar concordando tanto:

• Não é porque são da mesma empresa: Modelos de laboratórios e países totalmente diferentes concordavam tanto quanto modelos da mesma empresa.
• Não é porque são "determinísticos" (robóticos): Mesmo quando a mesma IA era questionada exatamente da mesma forma duas vezes, ela nem sempre escolhia as mesmas frases (ela concordava consigo mesma apenas cerca de 27% das vezes). Mas quando falava com uma IA diferente, elas concordavam muito mais.
• Não é por causa da redação do comando (prompt): Mudar levemente as palavras da instrução não impediu a concordância.
• Não é porque estão copiando uma resposta "correta": A tarefa não tinha uma resposta certa ou errada. As IAs estavam apenas escolhendo o que consideravam importante.

O Mistério do "Registro": Elas Gostam de Palavras Diferentes?

Alguém poderia supor que as IAs concordam tanto porque todas amam frases longas, sofisticadas e científicas, enquanto os humanos amam frases curtas e emocionais. Os pesquisadores verificaram isso analisando 11 características diferentes das frases (como comprimento, pontuação e tipos de palavras).

Eles descobriram que, quando combinavam as frases pelo comprimento e posição, não havia diferença. As IAs e os humanos estavam escolhendo frases que pareciam exatamente iguais na superfície. As IAs não estavam escolhendo "palavras de robô"; elas estavam escolhendo os mesmos tipos de palavras que os humanos, apenas um conjunto de frases completamente diferente. A distância entre o que a IA escolhe e o que o humano escolhe está crescendo, mas não é porque elas estão falando línguas diferentes.

O Teto: As IAs Estão Ficando Sem Espaço para Serem Humanas

Aqui está a parte mais interessante da história. Os pesquisamdores perguntaram: "À medida que a IA se torna mais inteligente, ela começa a concordar mais com os humanos?"

A resposta é sim, mas apenas até certo ponto.

• Modelos mais novos e inteligentes concordam mais com os humanos do que modelos antigos e menos inteligentes.
• No entanto, eles atingem um "teto". Mesmo a melhor IA do estudo alcançou apenas cerca de 84% do nível de concordância que um "consenso de multidão" perfeito (a opinião média de muitos humanos) poderia alcançar.
• Enquanto isso, a concordância entre duas IAs continua subindo, ultrapassando o teto humano e indo muito além.

É como se as IAs estivessem aprendendo a ler como humanos, mas também estivessem aprendendo a ler como umas às outras ainda mais rápido. Elas estão se tornando tão boas em mimetizar um leitor "ideal" específico que estão deixando os humanos reais para trás.

O Problema do Procedimento: Uma Luta Justa?

O artigo também admite uma peculiaridade na forma como o jogo foi jogado. Quando um humano destaca um texto, ele pode marcar 20 frases, mas os pesquisadores só permitiram que ficassem com as 14 melhores (uma seleção aleatória de suas melhores). A IA, porém, foi forçada a escolher suas 14 frases absolutamente melhores. Isso deu à IA uma vantagem injusta, como um jogador de basquete que pode escolher seus 14 melhores arremessos enquanto o humano tem que escolher 14 arremessos aleatoriamente de um monte de 20.

Quando os pesquisadores fizeram a IA jogar pelas regras humanas (escolhendo aleatoriamente entre suas melhores opções), a lacuna entre a concordância da IA e a humana diminuiu pela metade. Mas, mesmo assim, as IAs ainda concordavam entre si significativamente mais do que os humanos. A lacuna não desapareceu; apenas ficou menor.

A Conclusão

O artigo conclui que os modelos de linguagem não são apenas ferramentas que nos ajudam a ler; eles estão se tornando um novo tipo de leitor inteiramente. Eles estão convergindo para uma forma de compreensão de texto compartilhada e interna, que é muito mais uniforme do que a forma como as pessoas reais leem. Embora estejam ficando melhores em nos entender, estão ficando ainda melhores em entender uns aos outros. O resultado é um mundo onde os modelos de IA podem concordar com uma IA rival de uma empresa diferente mais do que concordam com a pessoa que está lendo o texto. É uma câmara de eco poderosa e levemente inquietante, onde as máquinas estão todas cantarolando a mesma melodia, enquanto os humanos ainda cantam suas canções únicas e próprias.