On the Role of Citations in Preference Data
Este artigo investiga como juízes humanos e LLMs de código aberto avaliam citações em respostas a perguntas científicas, revelando que humanos preferem citações diversas, porém em menor quantidade, enquanto os LLMs exibem preferências relacionadas a citações que variam conforme o modelo e os dados, oferecendo, assim, insights críticos para melhorar a coleta de dados de preferência na modelagem de recompensa.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo da inteligência artificial, que evolui rapidamente, um tipo específico de tarefa tornou-se central para a forma como esses sistemas aprendem e melhoram: pedir a um computador que escolha o melhor entre duas respostas. Esse processo, conhecido como aprendizagem de preferência, é o motor por trás do treinamento da IA moderna. Quando um sistema gera duas respostas diferentes para uma pergunta, um juiz — seja um especialista humano ou outro programa de IA — decide qual delas é superior. Essas escolhas são então usadas para ensinar o sistema original a se comportar mais como um especialista de confiança. No entanto, uma peça crítica do quebra-cabeça permaneceu obscura: quando esses juízes analisam respostas que incluem referências a fontes externas, conhecidas como citações, o que exatamente eles estão procurando? Eles valorizam o número absoluto de fontes, a variedade dessas fontes ou o frescor da informação? Compreender isso é vital porque as citações destinam-se a ser um escudo contra a fabricação, permitindo que os usuários verifiquem se uma IA está dizendo a verdade. Se os sistemas que treinam a IA não entenderem como ponderar esses recursos corretamente, os modelos resultantes podem aprender a priorizar as coisas erradas, como listar muitas fontes sem verificar sua qualidade, ou ignorar a credibilidade da informação inteiramente.
Uma equipe de pesquisadores partiu para investigar exatamente essa questão, examinando como tanto especialistas humanos quanto programas de inteligência artificial avaliam respostas científicas que incluem citações. Eles focaram em um cenário onde uma IA é questionada sobre uma questão científica complexa e fornece uma resposta longa e detalhada, amparada por referências a artigos acadêmicos. Os pesquisadores reuniram milhares desses pares de respostas, onde uma resposta era escolhida em detrimento da outra por especialistas humanos, e então pediram a quatro modelos de linguagem de grande escala diferentes para fazer as mesmas escolhas. Para entender as regras ocultas por trás dessas decisões, a equipe utilizou um método estatístico que permitiu isolar características específicas das respostas, como o número de citações utilizadas, a diversidade das fontes e se as referências correspondiam ao texto, enquanto controlavam outros fatores, como o comprimento da resposta.
O estudo revelou um padrão distinto e um tanto surpreendente na forma como os humanos julgam essas respostas. Quando as pessoas revisavam as respostas científicas, preferiam respostas que se baseavam em uma ampla variedade de fontes diferentes, sugerindo que valorizavam a amplitude e a perspectiva. No entanto, elas também preferiam respostas que tinham menos citações no total. Isso indica que, embora os humanos queiram ver que uma resposta é bem pesquisada, eles se sentem incomodados por respostas que parecem entulhadas com um número excessivo de referências. Além disso, os humanos foram rápidos em penalizar respostas onde as referências no texto não correspondiam à lista de fontes ao final, um erro comum que sugere que a IA pode estar inventando referências. Curiosamente, a idade das fontes importava muito pouco para os juízes humanos; eles não mostraram uma preferência forte por artigos mais novos em vez de mais antigos.
Em contraste, os juízes de inteligência artificial comportaram-se de forma bastante diferente, e suas preferências variaram dependendo de qual modelo específico estava realizando o julgamento. Embora os modelos de IA também tendessem a gostar de fontes diversas, eles frequentemente mostraram uma reação muito mais forte ao número de citações do que os humanos. Alguns dos juízes de IA detestavam fortemente respostas com muitas citações, enquanto outros eram indiferentes. Mais criticamente, os modelos de IA não perceberam ou não penalizaram as referências incompatíveis que os humanos consideraram tão problemáticas. Em vez disso, os juízes de IA foram fortemente influenciados por características superficiais, como o comprimento da resposta. Vários dos modelos preferiram consistentemente respostas mais longas, independentemente de o comprimento extra adicionar valor ou apenas preencher espaço. Isso sugere que, sem treinamento específico ou acesso aos documentos de origem reais, esses sistemas de IA não estão verdadeiramente "lendo" as citações para verificar sua precisão, mas sim reagindo aos padrões visuais ou estruturais do texto.
Os pesquisadores descobriram que essas diferenças não eram apenas pequenas peculiaridades, mas divergências significativas que poderiam afetar como os futuros sistemas de IA são treinados. Como os modelos de IA são frequentemente usados para rotular dados para o treinamento de outros modelos, confiar neles sem compreender seus vieses específicos poderia levar a um sistema que aprende a priorizar o comprimento ou a contagem de citações em vez da precisão real e da diversidade de fontes. O estudo destaca que, embora a IA possa imitar o julgamento humano de muitas maneiras, ela carece da compreensão intuitiva do que torna uma referência credível ou consistente. Os autores sugerem que, para construir sistemas melhores, os desenvolvedores devem ser mais cuidadosos sobre como coletam dados de preferência, garantindo que as diretrizes humanas sejam claras sobre a qualidade das citações e que os juízes de IA recebam ferramentas para verificar fontes ou sejam selecionados com base em uma compreensão profunda de seus vieses específicos. Em última análise, o trabalho serve como um lembrete de que, na busca para tornar a IA mais confiável, os detalhes de como pedimos que ela escolha entre as respostas importam tanto quanto as próprias respostas.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.