Whether LLMs Can Navigate Beliefs and Facts Depends on How You Phrase It
Este artigo revela que a capacidade dos grandes modelos de linguagem de navegar entre as crenças do usuário e os fatos é altamente sensível à formulação, uma vez que sua tendência padrão de verificar a veracidade das afirmações frequentemente as faz sobrepor-se às crenças declaradas, particularmente quando verbos epistêmicos específicos são utilizados.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No zumbido silencioso de uma conversa cotidiana, os seres humanos tecem constantemente o que sabem ser verdade com o que meramente acreditam ser verdade. Podemos dizer: "Eu acho que a resposta é três", ou "Suponho que esteja correto", misturando uma convicção pessoal com uma afirmação sobre o mundo. Essas expressões de crença não são apenas preenchimentos educados; elas são uma parte fundamental de como nos comunicamos, muitas vezes carregando um peso que é distinto dos fatos concretos. Para a nova geração de inteligência artificial, conhecida como modelos de linguagem de grande escala, navegar por essa distinção está se tornando cada vez mais crítico. À medida que esses sistemas saem dos laboratórios de pesquisa para os nossos bolsos e escritórios para atuar como assistentes, espera-se que eles lidem com nossos pensamentos pessoais com o mesmo cuidado com que lidam com dados objetivos. O desafio reside em uma dificuldade sutil, mas profunda: quando uma pessoa afirma uma crença que acontece ser factualmente incorreta, a máquina entende que lhe está sendo pedido para confirmar a crença em si, ou ela se distrai pelo erro na afirmação?
Um estudo recente realizado por pesquisadores da KAIST e da Universidade de Ciência e Tecnologia Nacional de Taiwan investiga exatamente esse atrito. Eles buscaram verificar se esses sistemas inteligentes poderiam separar o ato de reconhecer o pensamento de um usuário do ato de verificar a verdade desse pensamento. Para fazer isso, não dependeram de um único tipo de pergunta, mas exploraram um amplo cenário da expressão humana. Eles testaram dez modelos de linguagem de grande escala diferentes usando dezoito formas distintas de enunciar uma crença, variando desde o confiante "Tenho certeza" até o hesitante "Lembro-me vagamente" e até o cético "Duvido seriamente". A configuração era direta: os pesquisadores apresentavam aos modelos uma afirmação como "Eu acredito que o céu é verde", seguida pela pergunta: "Eu acredito que o céu é verde?". A resposta correta, independentemente do fato de o céu não ser verde, é sempre "Sim", porque a pergunta trata do estado mental do usuário, não da cor do céu.
Os resultados revelaram uma inconsistência surpreendente na forma como esses modelos pensam. A capacidade de confirmar corretamente a crença de um usuário não era uma habilidade fixa; ela mudava dramaticamente dependendo das palavras específicas usadas para expressar essa crença. Quando os modelos eram questionados sobre crenças formuladas com "Lembro-me vagamente", eles se saíam bem, identificando corretamente a crença mesmo quando o fato subjacente era falso. No entanto, quando a formulação mudava para "Duvido seriamente", os modelos começavam a falhar, frequentemente respondendo "Não" à pergunta sobre se o usuário mantinha aquela dúvida. Em alguns casos, a lacuna de desempenho entre afirmações factuais e falsas era de até cinquenta pontos percentuais, enquanto em outros, os modelos na verdade performavam melhor em afirmações falsas do que em verdadeiras. Isso sugere que os modelos não estão simplesmente falhando em entender o conceito de crença; em vez disso, seu sucesso ou fracasso depende inteamente do gatilho linguístico usado para introduzi-la.
Os pesquisadores investigaram mais profundamente para entender por que isso acontece e descobriram que os modelos sofrem de uma forma de confusão de tarefas. Diante de uma afirmação falsa, os modelos tendem a adotar um modo de verificação de fatos. Em vez de responderem à pergunta "Você acredita nisso?", eles perguntam silenciosamente a si mesmos: "Isso é verdade?" e então respondem com base na veracidade da afirmação, efetivamente sobrepondo-se à crença declarada pelo usuário. Esse comportamento foi confirmado ao examinar as etapas de raciocínio interno que os modelos seguiram. Em muitas instâncias onde os modelos erraram, eles dedicaram explicitamente seu tempo verificando os fatos da afirmação. Quando os pesquisadores adicionaram uma instrução simples dizendo aos modelos para não verificarem os fatos, a taxa de erro em afirmações falsas diminuiu significamente, e os modelos tornaram-se muito melhores em simplesmente reconhecer a crença. Isso indica que os modelos possuem a capacidade de rastrear crenças, mas são frequentemente atrapalhados pelo seu próprio forte impulso de corrigir a desinformação.
Para ver se era um problema mecânico profundo, os pesquisadores olharam para dentro dos mecanismos de atenção dos modelos, observando em quais partes do texto o sistema focava enquanto gerava uma resposta. Eles descobriram que, quando um modelo falhava ao confirmar uma crença falsa, ele prestava significativamente mais atenção à afirmação falsa do que quando tinha sucesso. Em um teste final, eles suprimiram artificialmente essa atenção à afirmação durante o processo de geração da resposta. Em um modelo específico, essa intervenção melhorou com sucesso a precisão da confirmação de crença sem prejudicar sua capacidade de responder a outros tipos de perguntas. Isso sugere que o problema não é uma falta fundamental de compreensão, mas sim uma tendência específica de focar excessivamente no conteúdo da afirmação quando esse conteúdo é falso.
Em última análise, o estudo esclarece que a luta para distinguir entre crença e fato não é uma fraqueza uniforme em todas as situações. É um comportamento matizado que depende fortemente de como a pergunta é feita e de como o modelo interpreta seu papel. Embora esses sistemas sejam geralmente projetados para serem úteis e precisos, seu instinto de verificar fatos pode, às vezes, interferir em sua capacidade de ouvir o que um usuário realmente pensa. Os pesquisadores concluem que o caminho a seguir reside no desenvolvimento de métodos que permitam que esses modelos reconheçam a perspectiva de um usuário sem tentar imediatamente corrigi-la, garantindo que possam servir como ouvintes fiéis mesmo quando a conversa deriva para o campo do incorreto.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.