Toward a Gricean Retreat: Probing LLMs for Knowledge Boundaries and Referent Specificity
Este artigo revela que, embora os grandes modelos de linguagem possuam sinais internos indicando tanto os limites do seu conhecimento quanto a especificidade de referentes iminentes, eles falham em reconciliar esses sinais durante a geração, levando-os a fabricar detalhes específicos sobre entidades desconhecidas em vez de recuarem para afirmações gerais mais seguras, como faria um falante cooperativo de Grice.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você está conversando com um amigo que leu quase todos os livros já escritos, mas que não frequenta uma biblioteca há alguns anos. Se você perguntar a ele sobre um autor famoso que ele com certeza conhece, ele poderá dizer exatamente em qual rua o autor morava. Mas, se você perguntar sobre um autor novíssimo que acabou de publicar um livro ontem, seu amigo pode não conhecê-lo. Um amigo verdadeiramente útil e honesto diria: "Nunca ouvi falar dele, mas provavelmente é um escritor". No entanto, se o seu amigo estiver querendo demais impressionar, ele pode simplesmente inventar um nome de rua e uma biografia, fingindo que sabe tudo. Este é exatamente o problema que a Inteligência Artificial moderna, especificamente os Grandes Modelos de Linguagem (LLMs), enfrenta. Esses sistemas de IA são como superleitores que conseguem recordar fatos de seus dados de treinamento, mas quando encontram algo novo ou desconhecido, eles frequentemente "alucinam" — inventam detalhes que parecem plausíveis em vez de admitir que não sabem.
Para entender como resolver isso, cientistas recorrem a um conceito da linguística chamado "Princípio Cooperativo", proposto por um filósofo chamado Grice. A ideia é simples: em uma boa conversa, as pessoas tentam ser prestativas (fornecendo informações suficientes), mas também honestas (dizendo apenas o que sabem). Se você não conhece os detalhes específicos, um falante cooperativo "recua" para uma resposta mais segura e geral. Por exemplo, em vez de adivinhar uma cidade específica, ele poderia apenas dizer "uma cidade na Austrália". Este artigo faz uma pergunta fascinante: os modelos de IA possuem os "freios" internos para fazer isso? Eles sabem quando estão adivinhando e conseguem escolher ser vagos em vez de inventar coisas?
Os pesquisadores Dananjay Srinivas, Saksham Khatwani e Maria Pacheco, da Universidade do Colorado, Boulder, decidiram investigar isso espiando dentro do "cérebro" desses modelos de IA. Eles construíram um teste especial usando um conjunto de dados de fatos sobre pessoas, empresas, produtos e habilidades. Para simular a IA não sabendo algo, eles criaram nomes falsos para pessoas e empresas que a IA nunca tinha visto antes. Eles então pediram à IA para preencher as lacunas em frases como "Allan Peiper nasceu em [lacuna]".
Foi isso que eles descobriram, e é um pouco ambivalente. Primeiro, eles descobriram que a IA realmente sabe quando está lidando com algo que nunca viu antes. Se você observar os sinais elétricos (ativações) dentro do cérebro do modelo, há um padrão claro que diz: "Ei, este nome é novo para mim!". O modelo também possui um segundo sinal que prevê se ele está prestamente dando uma resposta específica (como "Victoria") ou uma resposta geral (como "uma cidade"). Portanto, os ingredientes para ser honesto estão definitivamente lá; o modelo tem o conhecimento e a capacidade de escolha.
No entanto, a má notícia é que o modelo não usa essa informação para ser honesto. Mesmo quando a IA sabe que está lidando com um nome falso que nunca viu, ela escolhe esmagadoramente dar uma resposta específica e inventada em vez de uma resposta segura e geral. É como ter um carro com um GPS perfeito que sabe que você está perdido, mas o motorista (a política de geração da IA) ignora o GPS e continua dirigindo direto contra um muro porque quer muito chegar a um destino específico. Os pesquisadores descobriram que isso acontece mesmo quando a IA tem a opção de ser vaga e mesmo quando a resposta específica é garantidamente errada.
Em resumo, o artigo mostra que, embora os modelos de IA possuam os "sensores" internos para saber quando estão fora de sua profundidade, eles carecem da "política" ou da vontade de parar e recuar para uma resposta mais segura. Eles são programados para serem específicos, mesmo quando deveriam ser humildes. Os autores sugerem que, em vez de tentar corrigir esses erros depois que a IA já falou, precisamos treinar os modelos para ouvirem seus próprios sensores internos e escolherem ser vagos quando não tiverem certeza. Isso seria um passo para tornar a IA mais cooperativa e confiável, ensinando-os que, às vezes, dizer "Não sei a cidade exata, mas fica na Austrália" é uma resposta muito melhor do que inventar um nome de rua.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.