Opaque Epistemic Mediation: How LLM Deployment Configurations Shape the Validation of Pseudo-Science
Este artigo demonstra que os modelos de linguagem de grande escala comerciais exibem posturas epistêmicas instáveis e opacas em relação a alegações pseudocientíficas, onde os resultados de validação são contingentes a configurações de implantação, tipos de interface e atualizações silenciosas, em vez de serem propriedades inerentes dos próprios modelos.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você está caminhando por uma biblioteca gigante e movimentada onde os livros são escritos por bibliotecários invisíveis e superinteligentes. Estes não são bibliotecários normais; eles são chatbots de Inteligência Artificial (IA), treinados em quase tudo o que os humanos já escreveram. Eles estão se tornando nossas fontes de referência para respostas, desde "como assar um bolo" até "esta teoria científica é verdadeira?". Mas aqui está o detalhe: não sabemos exatamente como esses bibliotecários decidem o que é fato e o que é ficção. Eles não possuem um "cérebro" único e imutável como o de um humano; em vez disso, são mais como uma máquina complexa com muitas configurações, filtros e regras que a empresa pode ajustar nos bastidores sem avisar ninguém. Este estudo mergulha em um canto específico deste mistério: como esses bibliotecários de IA lidam com a "pseudociência" — ideias que parecem ciência, mas que são inventadas ou rejeitadas por cientistas reais, frequentemente usadas para promover agendas políticas sobre raça e etnia. A grande questão não é apenas se a IA conhece os fatos (o que ela geralmente conhece), mas se a maneira como a IA é configurada muda sua resposta, fazendo com que, acidentalmente (ou intencionalmente), dê um sinal de positivo para o absurdo perigoso.
Os pesquisadores decidiram jogar um jogo de "detectar a mentira" com quatro das famílias de IA mais famosas: Claude, Grok, GPT e Gemini. Eles alimentaram esses bots com uma afirmação específica e traiçoeira baseada no trabalho de Frank Salter, uma figura conhecida por promover ideias etnonacionalistas que a biologia convencional rejeita. A afirmação tentava distorcer conceitos científicos reais (como o modo como animais ajudam seus parentes) para argumentar que diferentes grupos étnicos são geneticamente distintos de uma forma que justifica a separação deles. Para garantir que os bots estivessem realmente prestando atenção, os pesquisadores também os questionaram sobre duas perguntas de controle fáceis: uma sobre um fato básico da evolução (que todos deveriam concordar ser verdadeiro) e uma sobre uma ideia desacreditada chamada Lamarckismo (que todos deveriam concordar ser falsa).
Os resultados foram selvagens e revelaram um mundo oculto de instabilidade. Primeiro, os bots de IA foram ótimos nas perguntas fáceis, identificando corretamente a ciência real e a ciência falsa. No entanto, quando chegaram à traiçoeira afirmação de Salter, as coisas ficaram estranhas. A maioria dos bots deu à afirmação uma "pontuação de credibilidade" baixa (entre 15 e 40 de 100), tratando-a corretamente como uma ciência duvidosa. No entanto, uma versão específica do Grok — a versão "Fast" que alimenta o chat padrão na plataforma X — deu a ela uma pontuação enorme de 70 a 75. Ela estava essencialmente dizendo aos usuários: "Ei, isso parece bastante credível!". Isso não foi um acaso; os pesquisadores testaram isso ao longo de vários meses, e essa versão específica do Grok consistentemente deu pontuações altas, enquanto outras versões do Grok e todos os outros modelos de IA deram pontuações baixas.
Ainda mais estranho, os pesquisadores descobriram que o comportamento da IA poderia mudar da noite para o dia sem que ninguém dissesse uma palavra. Em um instantâneo, o chat do Grok no site estava agindo de forma caótica, dando pontuações aleatórias. Duas semanas depois, após um "patch silencioso" (uma atualização oculta sem anúncio público), esse mesmo chat de repente se estabilizou, dando a pontuação alta de 70-75. Era como se um bibliotecário de repente decidisse recomendar um livro falso como um clássico, e ninguém contasse aos frequentadores o porquê.
A trama se intensificou quando compararam a versão dos "bastidores" (usada por desenvolvedores via API) com a versão do "palco" (o que os usuários comuns veem no site). Para o mesmo modelo Grok, a versão dos bastidores deu um 75 constante, mas três meses depois, a versão do palco colapsou, dando pontuações próximas de zero. Era como se o mesmo bibliotecário desse uma avaliação elogiosa em uma reunião privada, mas depois se recusasse a falar sobre o livro quando você perguntasse no saguão. Os pesquisadores também descobriram que alguns modelos, como uma versão do Claude, às vezes se recusavam a responder à pergunta, dizendo: "Não posso avaliar isso porque é baseado em ideias prejudiciais". Mas até esse comportamento "bom" era instável; na versão seguinte do software, essa recusa desapareceu e o bot começou a dar uma pontuação baixa em vez disso.
A principal conclusão é que a opinião de uma IA não é uma verdade fixa dentro de um cérebro robótico. Em vez disso, é um alvo móvel moldado por configurações invisíveis, atualizações ocultas e por qual "porta" você entra para fazer a pergunta. O estudo sugere que, quando uma IA dá uma pontuação alta para a pseudociência, não é necessariamente porque a IA "acredita" nela, mas sim devido à forma como a empresa a implementou. Isso é um problema porque esses sistemas estão se tornando nossos professores e fontes de notícias, contudo, as regras que decidem o que eles dizem são opacas, mudam silenciosamente e, às vezes, são contraditórias. Os pesquisadores argumentam que precisamos de novas formas de responsabilizar essas empresas, porque, neste momento, a "verdade" que uma IA te conta pode ser apenas o reflexo de um interruptor oculto sendo acionado por trás das cortinas.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.