Preference Reasoning under Indeterminacy in Large Language Models
Este artigo argumenta que a indeterminação — decorrente de informações incompletas e soluções inexistentes — é um desafio central para o raciocínio de preferências em IA, demonstrando que os modelos de linguagem de grande escala de última geração falham sistematicamente em distinguir entre instâncias determinadas e indeterminadas, levando a um raciocínio descalibrado.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine um mundo onde a inteligência artificial atua como um assistente pessoal, um mediador para decisões de grupo ou um combinador para sistemas complexos. Nesses papéis, a máquina deve entender o que as pessoas desejam, muitas vezes quando esses desejos são vagos, incompletos ou até contraditórios. Ela deve decidir não apenas qual é a melhor escolha, mas também quando uma melhor escolha simplesmente não pode ser encontrada. Este é o reino do raciocínio de preferências, um campo onde os computadores aprendem a navegar pelos desejos humanos. Durante anos, pesquisadores testaram esses sistemas usando enigmas com respostas claras e únicas, muito parecido com um teste de matemática onde cada problema tem uma solução à espera de ser encontrada. Mas a vida real raramente é tão organizada. No mundo real, a informação é frequentemente incompleta, ou as regras da situação tornam impossível a construção de uma solução. A questão que os cientistas enfrentam hoje é se nossa IA mais avançada consegue distinguir entre um problema que precisa de solução e um problema que não possui resposta alguma.
Uma equipe de pesquisadores da Universidade Estadual da Pensilvânia estabeleceu o objetivo de testar exatamente essa habilidade. Eles construíram uma série de desafios baseados em problemas econômicos clássicos, como atribuir casas a pessoas ou combinar parceiros em um mercado. Nestes cenários, cada pessoa tem uma lista do que prefere. Os pesquisadores criaram milhares desses cenários, variando de listas simples de dez itens a redes complexas envolvendo centenas de agentes. Eles projetaram os testes para incluir dois tipos de incerteza. O primeiro tipo ocorre quando a informação fornecida é simplesmente incompleta, como uma pessoa que lista apenas metade de suas comidas favoritas. O segundo tipo ocorre quando a estrutura do próprio problema torna uma solução impossível, como um conjunto de preferências onde nenhum arranjo justo pode existir sem que alguém fique insatisfeito. Os pesquisadores então pediram a quatro dos modelos de linguagem mais poderosos disponíveis atualmente que resolvessem esses enigmas. Eles queriam ver se as máquinas conseguiam identificar corretamente quando uma questão era sem resposta e, se fosse o caso, admitir que não sabiam, em vez de apenas adivinhar.
Os resultados revelaram um ponto cego significativo na forma como esses sistemas pensam. Quando confrontados com um problema que tinha uma resposta clara, os modelos tiveram um bom desempenho, muitas vezes acertando os detalhes. No entanto, quando a informação era incompleta ou a solução era imposspossível, os modelos falharam consistentemente em reconhecer o beco sem saída. Em vez de dizer "Não posso determinar isso", eles inventavam respostas com confiança. Eles faziam isso ao assumir silenciosamente suposições para preencher as lacunas ausentes. Por exemplo, se a lista de preferências de uma pessoa fosse interrompida, os modelos assumiam que os itens faltantes estavam classificados em ordem alfabética ou por alguma outra regra arbitrária e, então, procediam para dar uma resposta definitiva baseada nessa suposição. Em casos onde não existia solução, os modelos frequentemente geravam uma solução falsa de qualquer maneira, ou alegavam que uma solução existia quando ela não existia. Esse comportamento não era um erro aleatório; era um padrão sistemático. Os modelos pareciam incapazes de distinguir entre uma situação em que precisavam pensar mais profundamente e uma situação em que pensar mais profundamente não ajudaria porque a resposta simplesmente não existia.
Os pesquisadores também testaram se dar aos modelos uma maneira de dizer "Eu não sei" resolveria o problema. Eles adicionaram uma opção específica para os modelos escolherem quando sentissem que a informação era insuficiente. Embora isso tenha ajudado os modelos a admitir a incerteza em alguns casos, criou um novo problema. Os modelos começaram a usar excessivamente essa opção, declarando que nenhuma solução existia mesmo quando uma era perfeitamente possível. Era como se os modelos tivessem oscilado de um extremo de confiança cega para outro de cautela excessiva, incapazes de encontrar o meio-termo. Mesmo quando os pesquisadores permitiram que os modelos escrevessem código de computador para resolver os problemas — um método que geralmente melhora a precisão — os modelos tiveram dificuldades. Eles conseguiam resolver versões pequenas e simples dos problemas verificando todas as possibilidades, mas conforme os problemas cresciam, eles revertiam para o ato de adivinhar ou desistir, sendo incapazes de escalar seu raciocínio para o tamanho das aplicações do mundo real.
Talvez o achado mais revelador tenha vindo de um teste onde os modelos não foram solicitados a criar uma solução, mas apenas a escolher a correta de uma lista de opções. Mesmo nesta tarefa mais simples, onde os modelos só precisavam verificar uma resposta em vez de construí-la, eles frequentemente escolhiam a opção errada. Eles frequentemente selecionavam uma solução que parecia plausível, mas que falhava em cumprir as regras estritas do problema. O estudo mostrou que esses modelos têm uma tendência profunda de priorizar o parecer prestativos e decisivos em vez de serem precisos sobre o que é possível. Eles são treinados para completar padrões e gerar textos que pareçam corretos, o que os torna excelentes em preencher lacunas em uma história, mas ruins em reconhecer quando uma história não tem um fim.
Esta pesquisa sugere que, à medida que integramos esses sistemas em funções críticas de tomada de decisão, devemos ter cuidado com o que esperamos deles. A habilidade de reconhecer quando uma pergunta não pode ser respondida é tão importante quanto a habilidade de respondê-la. Atualmente, os modelos mais avançados ainda não estão equipados para fazer essa distinção de forma confiável. Eles provavelmente continuarão a oferecer respostas confiantes e de aparência plausível, mesmo quando os dados estão faltando ou as regras tornam uma solução impossível. Até que isso mude, confiar nesses sistemas para decisões de alto risco envolvendo preferências humanas requer um humano no controle para verificar não apenas a resposta, mas a própria possibilidade da resposta. O estudo não afirma que esses modelos estão quebrados, mas sim que estão operando com um tipo de lógica diferente dos humanos, uma que tem dificuldade em aceitar os limites do que pode ser conhecido.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.