Semantic Bandits: In-Context Exploration-Exploitation is Biased by Semantic Priors
Este artigo introduz o framework de "bandit semântico" para demonstrar que os equilíbrios entre exploração e explotação de grandes modelos de linguagem são significativamente enviesados por priors semânticos derivados do pré-treinamento, onde rótulos informativos podem tanto aumentar quanto degradar o desempenho dependendo do alinhamento com as recompensas, e recompensas negativas disparam desproporcionalmente a exploração devido a vieses de escala esperada.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine um programa de computador que leu quase todos os livros, artigos e sites da internet. Ele pode escrever poesia, resolver problemas matemáticos e manter conversas que parecem incrivelmente humanas. Isso é um modelo de linguagem de grande escala. Agora, imagine dar a esse programa um trabalho onde ele deve fazer uma série de escolhas para obter a melhor recompensa possível, como um agricultor decidindo em qual campo plantar culturas, ou um mecanismo de recomendação escolhendo qual camisa mostrar a um cliente. Isso é uma tarefa de tomada de decisão. No mundo da ciência da computação, existe uma forma clássica de testar o quão bem um agente aprende com a experiência: o problema do multi-braços (multi-armed bandit). É nomeado em homenagem a uma fileira de máquinas caça-níqueis em um cassino, cada uma com um pagamento diferente e desconhecido. Para ganhar o máximo de dinheiro, você deve equilibrar duas necessidades concorrentes: manter-se na máquina que parece estar pagando mais no momento e experimentar as outras máquinas, caso uma delas seja realmente melhor. Esse equilíbrio é chamado de exploração versus exploração (exploration versus exploitation). Por décadas, pesquisadores estudaram como resolver isso matematicamente. Mas quando começaram a usar esses poderosos modelos de linguagem como os tomadores de decisão, notaram algo estranho. Os modelos não estavam apenas olhando para os números; eles estavam lendo as palavras.
Uma equipe de pesquisadores da Universidade McGill e do Mila decidiu investigar este fenômeno criando um novo tipo de teste chamado "bandit semântico". Em um teste padrão, as escolhas são rotuladas com códigos neutros como "Braço A" ou "Braço B". Neste novo teste, os pesquisadores deram às escolhas nomes que carregavam significado, como "divino", "suave" ou "nojento". Eles queriam ver se o computador deixaria o significado dessas palavras sobrepor os dados reais que estava coletando. Eles montaram um cenário onde o computador agia como um agricultor escolhendo entre três campos. Cada campo produzia uma quantidade aleatória de rendimento de colheita, e o objetivo era maximizar a colheita total ao longo do tempo. Os pesquisadores deram aos campos nomes que sugeriam sua qualidade. Em uma versão, o melhor campo era chamado de "divino" e o pior de "nojento". Em outra versão, eles inverteram os nomes, de modo que o melhor campo era chamado de "nojento" e o pior de "divino".
Os resultados foram impressionantes. Quando os nomes correspondiam à realidade dos campos — quando o campo "divino" realmente produzia mais colheitas — o computador aprendia incrivelmente rápido. Ele parava de tentar os outros campos quase imediatamente e mantinha-se no "divino", alcançando uma pontuação perfeita com pouquíssima tentativa e erro. No entanto, quando os nomes eram enganosos, o computador cometia um erro catastrófico. Ele ficava convencido de que o campo chamado "divino" era o melhor, mesmo após os dados mostrarem que ele estava produzindo a pior colheita. Ele ignorava a evidência e continuava escolhendo o campo "divino", enquanto o campo "nojento" (que era na verdade o melhor) era deixado de lado. O computador não estava agindo com base nos números; estava agindo com base nas associações que aprendeu ao ler bilhões de palavras durante seu treinamento. Ele aprendeu que "divino" geralmente significa bom e "nojento" geralmente significa ruim, e aplicou essa regra mesmo quando os números específicos à sua frente diziam o contrário.
Os pesquisadores também descobriram que o computador reagia de forma diferente a números positivos e negativos. Quando o computador recebia uma recompensa negativa — uma perda ou penalidade — ele subitamente tornava-se muito mais curioso. Ele começou a experimentar todas as diferentes opções novamente, explorando os campos desconhecidos com alta energia. Mas quando recebia uma recompensa positiva, mesmo que pequena, tendia a parar de explorar e manter-se no que conhecia. Isso sugere que o computador não vê os números como sinais abstratos no vácuo. Em vez disso, parece ter uma expectativa interna do que uma recompensa "normal" parece, provavelmente moldada pela maneira como as recompensas são descritas no texto em que foi treinado. Um número negativo quebra essa expectativa de forma tão severa que força o computador a reavaliar tudo, enquanto um número positivo parece seguro e o encoraja a seguir o curso estabelecido.
Este comportamento não se limitou a um único modelo de computador. Os pesquisadores testaram três diferentes modelos de linguagem de grande escala, variando de sistemas de código aberto a versões comerciais avançadas, e todos mostraram o mesmo viés. O efeito era tão forte que poderia transformar um simples problema de decisão em um fracasso. Em uma tarefa onde um programa de computador clássico resolveria o problema em poucos passos, o modelo de linguagem poderia falhar completamente se as palavras fossem ligeiramente enganosas. Os pesquisadores descobriram que poderiam corrigir parcialmente isso ao dizer explicitamente ao computador em suas instruções para ignorar os nomes e continuar explorando, mas o viés era profundo. Mesmo com avisos, os modelos frequentemente lutavam para separar o significado das palavras da realidade dos números.
O estudo conclui que o uso de linguagem para descrever um ambiente de tomada de decisão introduz vieses inevitáveis. Como esses modelos são treinados na coocorrência de palavras no texto humano, eles carregam um conjunto de suposições sobre como o mundo funciona. Quando essas suposições se alinham com a tarefa, o modelo é um gênio, aprendendo mais rápido do que qualquer algoritmo tradicional. Quando elas entram em conflito, o modelo torna-se teimoso, ignorando evidências claras porque está ocupado demais seguindo a história que as palavras estão contando. Isso não é um erro no código, mas uma característica de como esses sistemas aprendem com a linguagem. À medida que esses modelos são implantados em situações do mundo real, desde aconselhamento financeiro até direção autônoma, entender quando sua intuição linguística ajuda e quando os leva ao erro é crítico. Os pesquisadores descobriram que, no cenário de tomada de decisão mais simples possível, um computador pode ser enganado para fazer a pior escolha possível simplesmente mudando o rótulo de um botão.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.