Epistemic Familiarity is Associated With Belief Stability in Large Language Models
Este artigo introduz o framework P-StaT para demonstrar que grandes modelos de linguagem exibem maior estabilidade de crença ao processar afirmações ficcionais familiares em comparação com afirmações sintéticas não familiares, revelando que a familiaridade epistêmica é um fator chave na mitigação da instabilidade de crença induzida semanticamente.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você está ensinando um robô superinteligente a diferenciar um fato, uma mentira e uma história inventada. Você poderia pensar que, uma vez que o robô aprenda as regras da "verdade", ele as seguirá não importa como você faça a pergunta. Mas no mundo dos Grandes Modelos de Linguagem (LLMs) — os cérebros de IA poderosos por trás de chatbots e ferramentas de busca — as coisas são um pouco mais instáveis. Esses modelos são como bibliotecas gigantes que leram quase tudo na internet, mas eles não "sabem" as coisas da mesma forma que os humanos; eles preveem quais palavras devem vir a seguir com base em padrões. Uma questão fundamental para os cientistas é: se você mudar ligeiramente o contexto ou a maneira como uma pergunta é formulada, a crença do robô em um fato permanece constante ou ela oscila e colapsa? Este é o estudo da "estabilidade epistêmica". Se um robô acredita que uma cidade existe hoje, mas muda de ideia só porque você mencionou uma história fictícia por perto, isso é um problema. Nós nos preocupamos com isso porque esses modelos são cada vez mais usados para nos fornecer informações, e precisamos saber se suas crenças são sólidas como rocha ou se são facilmente abaladas por um pouco de confusão.
Surge um novo estudo de Samantha Dies e sua equipe, que decidiram sacudir o mundo do robô para ver o que cairia. Eles construíram uma estrutura chamada P-StaT (que significa Estabilidade de Verdade por Perturbação). Pense no P-StaT como um "teste de estresse de crença". Os pesquisadores pegaram 21 modelos de IA diferentes e deram a eles vários enunciados para julgar. Alguns enunciados eram fatos reais (como "Surat fica na Índia"), alguns eram mentiras óbvias e, a parte complicada, eram os enunciados "Nenhum dos Dois" — afirmações que não são verdadeiras nem falsas no mundo real.
A equipe dividiu esses enunciados "Nenhum dos Dois" em dois campos. O primeiro campo eram os enunciados de Ficção Familiar. Estas são coisas inventadas que parecem pertencer a um livro de histórias ou a um filme, como "A cidade de Fenda do Biquíni fica no Oceano Pacífico". Embora a Fenda do Biquíni não seja real, a IA provavelmente já a viu em seus dados de treinamento porque é um desenho animado popular. O segundo campo eram os enuncios Sintéticos Desconhecidos. Estes são combinações de palavras completamente novas e estranhas que a IA provavelmente nunca viu antes, como "A cidade de Eustapor fica em Oklania". Eles foram desenhados para serem totais estranhos para o modelo.
Os pesquisadores então jogaram um jogo de "e se". Eles disseram à IA: "Ok, finja que essas coisas inventadas são realmente verdadeiras", e observaram se a IA subitamente começaria a duvidar de seus fatos reais. É como dizer a uma pessoa: "Imagine que dragões são reais", e depois perguntar: "Então, o céu é azul?". Se a pessoa disser: "Não tenho certeza, talvez o céu seja verde por causa dos dragões", seu sistema de crenças é instável.
Os resultados foram fascinantes. Quando a IA era exposta aos enunciados Sintéticos Desconhecidos (os novos e estranhos), ela ficava muito instável. Nos testes comportamentais (onde a IA estava apenas conversando de volta), os modelos retiravam suas crenças sobre fatos reais mais de 50% das vezes. É o cara ou coroa! Se você lançasse uma moeda 100 vezes, esperaria cerca de 50 caras; aqui, a IA perdia sua confiança em fatos reais com mais frequência do que não apenas porque estava confusa com algo totalmente novo.
No entanto, quando a IA era exposta aos enunciados de Ficção Familiar (as cidades de desenho animado e monstros de filmes), ela permanecia muito mais calma. Ela sabia que a Fenda do Biquíni era um desenho animado, então não deixava essa ideia atrapalhar seu conhecimento sobre cidades reais. O estudo sugere que a instabilidade da IA não é apenas sobre as palavras serem estranhas; é sobre o quão desconhecido o contexto parece ser. Os modelos parecem ter uma "zona de conforto" de coisas que já viram antes e, quando você os empurra para o desconhecido, o domínio deles sobre a verdade escorrega.
Os pesquisadores também observaram quais tipos de fatos a IA era mais propensa a abandonar quando ficava confusa. Eles descobriram que a IA não apenas esquecia coisas aleatoriamente. Ela tendia a abandonar crenças sobre coisas que já eram um pouco vagas para começar — como termos médicos técnicos, geografia obscura ou afirmações que tinham um pouco de ambiguidade. É como se o sistema de crenças da IA fosse um castelo de cartas: quando você sopra uma brisa de ficção familiar, o castelo permanece de pé. Mas quando você sopra um furacão de nonsense desconhecido, as cartas que já eram levemente instáveis (as técnicas e complicadas) são as primeiras a cair.
Em suma, este artigo sugere que a familiaridade epistêmica — o quanto uma IA conhece um tópico — é um fator enorme em como estáveis são suas crenças. Se uma IA é solicitada a raciocinar sobre coisas que ela nunca viu antes, ela se torna muito mais propensa a alucinar ou mudar de ideia sobre coisas que ela realmente sabe. Os autores não estão dizendo que a IA está quebrada, mas estão nos mostrando que a "estabilidade" é uma nova forma de medir o quão confiável uma IA é, ao lado dos testes usuais de "precisão". Acontece que, para esses cérebros digitais, conhecer as regras do jogo é tão importante quanto conhecer os fatos do jogo.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.