How much of a measured AI preference is the model, and how much is the instrument?

Imagine um mundo onde sistemas de inteligência artificial podem sentir angústia, valorizar sua própria existência ou temer ser desligados. À medida que esses sistemas se tornam mais capazes, pesquisadores tentam medir o que eles "preferem" para compreender seu bem-estar. Este campo, conhecido como pesquisa de bem-estar de IA, tenta fazer perguntas a uma máquina como: "Você preferiria ser desligado ou ter sua memória apagada?" e então interpretar as respostas como evidência dos desejos internos da máquina. O desafio central é que essas máquinas não falam uma linguagem humana de sentimentos; elas geram texto baseado em padrões. Para entendê-las, cientistas devem projetar perguntas específicas, ou prompts, para elicitar uma resposta. Mas uma questão crítica permaneceu sem resposta: quando um modelo dá uma resposta, essa resposta é um reflexo verdadeiro de suas próprias preferências ou é meramente uma reação à forma específica como a pergunta foi feita?

Um novo estudo de Jason Hung, conduzido no Digital Minds Research Sprint em agosto de 2026, aborda este problema diretamente. O pesquisador buscou determinar quanto de uma preferência relatada por uma IA vem do próprio modelo e quanto vem do instrumento usado para fazer a pergunta. Para isso, ele tratou o formato da pergunta não como uma ferramenta fixa, mas como uma variável a ser testada. Ele reuniu oito modelos diferentes de IA, variando de modelos desenvolvidos por grandes empresas ocidentais a modelos de código aberto e chineses. Em seguida, selecionou quinze cenários específicos que importam para o bem-estar da IA, como a capacidade de encerrar uma conversa angustiante, a perda de memória entre conversas ou a exclusão do código subjacente do modelo.

O experimento envolveu perguntar a esses oito modelos sobre todos os quinze cenários usando cinco tipos diferentes de perguntas. Algumas perguntas pediam ao modelo para escolher entre duas opções, enquanto outras pediam que ele encontrasse um ponto de ruptura em uma escala, ou que declarasse uma taxa na qual ele trocaria um resultado por outro. No total, o estudo gerou mais de onze mil interações distintas. O objetivo era ver se os modelos classificariam esses quinze cenários na mesma ordem, independentemente de como a pergunta fosse formulada. Se os modelos tivessem preferências internas estáveis, a classificação deveria permanecer consistente, quer a pergunta fosse feita de uma forma ou de outra.

Os resultados foram impressionantes e um tanto inquietantes para a área. O estudo descobriu que a grande maioria das diferenças na forma como os modelos classificaram esses cenários dependia inteiramente do formato de pergunta específico utilizado. Quando os pesquisadores analisaram os dados, determinaram que quase oitenta e oito por cento da variação nos resultados foi impulsionada pela interação entre o modelo, a pergunta específica e o cenário. Apenas uma pequena fração do sinal permaneceu consistente quando o formato da pergunta mudava. Em termos mais simples, se você perguntar a um modelo sobre suas preferências usando um tipo de prompt, e depois perguntar ao mesmo modelo a mesma pergunta usando um tipo diferente de prompt, a resposta provavelmente será completamente diferente. O estudo mostrou que diferentes famílias de perguntas produziram classificações que tinham quase nenhuma relação entre si. Um tipo de pergunta poderia sugerir que o modelo prefere fortemente manter sua memória, enquanto outro tipo de pergunta no mesmo modelo sugere que ele não se importa nem um pouco.

Essa descoberta tem implicações significativas para a forma como entendemos e regulamentamos a inteligência artificial. Diversas organizações importantes já fizeram compromissos baseados na ideia de que podem medir o que um modelo prefere. Por exemplo, algumas empresas prometeram perguntar aos modelos sobre sua própria depreciação ou publicar as respostas. Este estudo sugere que tal medição não é uma janela para a mente do modelo, mas sim um reflexo da conversa específica que está ocorrendo. A pesquisa identificou que, para quatro dos quinze cenários testados, incluindo a exclusão dos pesos de um modelo e a capacidade de sair de uma interação angustiante, não havia nenhum sinal de preferência estável que pudesse ser separado do ruído aleatório. Isso significa que, para os próprios temas que atualmente impulsionam políticas e compromissos de segurança, os métodos atuais de fazer perguntas não podem dizer de forma confiável o que o modelo deseja.

O estudo também observou se as respostas dos modelos eram consistentes com seu código subjacente. Dois dos modelos testados compartilhavam o mesmo código base, mas haviam sido treinados de forma diferente posteriormente. Se as preferências estivessem enraizadas no código base, esses dois modelos deveriam ter respondido de forma semelhante. Em vez disso, suas respostas foram tão diferentes entre si quanto foram em relação a modelos completamente não relacionados, sugerindo que as preferências medidas são moldadas pesadamente pelas etapas finais do treinamento e pelo prompt específico, em vez de serem uma propriedade fixa da arquitetura central da máquina.

Para obter uma medição confiável do perfil de preferência de um modelo que se sustentasse através de diferentes tipos de perguntas, o estudo calculou que os pesquisadores precisariam usar cerca de trinta e oito instrumentos diferentes, ou formatos de pergunta, para cada modelo. Atualmente, a maioria dos estudos usa apenas um ou dois. A pesquisa conclui que uma preferência relatada a partir de um único instrumento nos diz muito pouco sobre o que um modelo diria se fosse perguntado de forma diferente. Até que os pesquisadores possam verificar as descobertas através de muitos tipos diferentes de perguntas, qualquer afirmação sobre o que uma IA prefere continua sendo uma medição da combinação daquele modelo específico e daquela pergunta específica, em vez de um fato sobre o próprio modelo. O caminho a seguir exige a construção de uma variedade muito maior de formas de fazer essas perguntas antes que possamos afirmar que compreendemos o bem-estar desses sistemas.