Mitigating Exploration Bias in RL for Multi-Instruction Following
Este artigo aborda o viés de exploração em direção a instruções fáceis no seguimento de múltiplas instruções baseado em RL, propondo uma estrutura de dois estágios que combina o bootstrapping comportamental para ativar instruções difíceis e recompensas conscientes da escassez para priorizá-las, melhorando significativamente o desempenho do modelo em benchmarks verificáveis.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Os grandes modelos de linguagem são os motores por trás dos chatbots e assistentes de escrita que se tornaram parte do cotidiano. Em sua essência, esses sistemas são projetados para seguir instruções, pegando o pedido de um usuário e transformando-o em uma resposta útil. Durante anos, pesquisadores têm usado um método de treinamento chamado aprendizado por reforço para ensinar esses modelos a serem melhores nessa tarefa. Nessa abordagem, o modelo tenta resolver um problema, recebe uma pontuação baseada no quão bem ele se saiu e usa esse feedback para melhorar sua próxima tentativa. É uma forma poderosa de refinar o comportamento, muito parecido com treinar um animal com petiscos, mas aplicado ao raciocínio digital complexo. No entanto, um novo estudo sugere que, quando esses modelos enfrentam uma única solicitação contendo múltiplas regras ou restrições diferentes, o método de treinamento padrão muitas vezes falha com eles. Em vez de aprender a satisfazer todas as partes da solicitação, o modelo tende a ignorar as partes difíceis e focar apenas nas fáceis, deixando o usuário com uma resposta que é apenas parcialmente correta.
Os pesquisadores por trás deste estudo, trabalhando com equipes de universidades no Texas e na Califórnia, propuseram-se a entender por que isso acontece e como consertá-lo. Eles descobriram que o problema decorre de dois problemas principais. Primeiro, quando um modelo inicia o treinamento, ele é frequentemente fraco demais para resolver as partes mais difíceis de uma solicitação complexa. Como ele não consegue ter sucesso nessas tarefas difíceis, nunca recebe o feedback positivo necessário para aprendê-las, então simplesmente para de tentar. Segundo, o sistema de pontuação usado durante o treinamento trata cada instrução como igual. Se um modelo satisfaz uma regra fácil e uma regra difícil, ele recebe a mesma pontuação total do que se tivesse satisfeito duas regras fáceis. Isso incentiva o modelo a buscar as vitórias fáceis para aumentar sua pontuação rapidamente, em vez de lutar através das restrições difíceis que exigem mais esforço. O resultado é um modelo que é enviesado para o caminho mais fácil, deixando os desafios mais difíceis inexplorados.
Para resolver isso, a equipe propôs uma estrutura de duas etapas projetada para forçar o modelo a prestar atenção às instruções difíceis. A primeira etapa é uma fase de preparação que eles chamam de bootstrapping comportamental. Antes do treinamento principal começar, os pesquisadores identificam os tipos específicos de instruções que o modelo atualmente falha em seguir. Eles então geram um conjunto pequeno e focado de exemplos onde o modelo é guiado para ter sucesso nessas tarefas difíceis específicas. Ao treinar nesses dados curados por apenas um curto período, o modelo "desperta" sua capacidade de lidar com essas restrições difíceis. Não se trata de ensinar tudo ao modelo do zero, mas sim de dar um pequeno empurrão para garantir que ele tenha uma chance de sucesso antes que o treinamento principal comece. Esta etapa garante que o modelo não desista imediatamente das partes difíceis quando o treinamento real começar.
A segunda etapa envolve mudar a forma como o modelo é recompensado durante a fase de treinamento principal. Em vez de dar o mesmo peso a cada instrução, os pesquisadores introduziram um novo método de pontuação que presta atenção ao quão rara ou difícil é uma instrução específica. Se o modelo segue com sucesso uma instrução que ele raramente acerta, ele recebe uma recompensa maior. Se ele segue uma instrução que já domina facilmente, a recompensa é menor. Isso cria um forte incentivo para o modelo explorar o território difícil que ele estava evitando anteriormente. Os pesquisadores também adicionaram um bônus por combinar instruções com sucesso. Se um modelo consegue satisfazer duas regras ao mesmo tempo, especialmente quando essas regras são difíceis de realizar juntas, ele recebe crédito extra. Isso incentiva o modelo a buscar soluções que satisfaçam o conjunto completo de restrições, em vez de apenas escolher e selecionar as mais fáceis.
A equipe testou essas ideias usando duas versões diferentes de um modelo de linguagem, uma com 1,7 bilhão de parâmetros e outra com 7 bilhões. Eles treinaram esses modelos em um conjunto de dados contendo prompts com três a cinco instruções cada. Os resultados foram impressionantes. Os modelos treinados com o novo método de duas etapas superaram significativamente aqueles treinados com a abordagem padrão. Em um teste primário projetado para verificar o seguimento de instruções, o melhor modelo melhorou sua precisão em mais de nove pontos em comparação com o método padrão. Esse progresso foi tão substancial que o modelo menor de 1,7 bilhão, quando treinado com este novo método, teve um desempenho tão bom quanto modelos comerciais muito maiores que possuem dezenas de vezes mais poder de computação. Os pesquisadores também mediram o equilíbrio do desempenho do modelo e descobriram que o novo método reduziu com sucesso a lacuna entre o quão bem o modelo lidava com instruções fáceis versus difíceis.
O estudo também observou o que acontece dentro do modelo durante o treinamento. Eles observaram que o método de treinamento padrão causou a perda da capacidade do modelo de explorar diferentes possibilidades, um fenômeno conhecido como colapso de entropia, onde o modelo fica preso em um loop estreito de respostas seguras e fáceis. Em contraste, o novo método manteve viva a exploração do modelo, permitindo que ele continuasse buscando soluções complexas. Os pesquisadores notaram que a abordagem funciona melhor quando os dados de treinamento são cuidadosamente equilibrados; dados excessivos na fase de preparação inicial poderiam, na verdade, prejudicar a flexibilidade do modelo posteriormente. Embora o método tenha sido testado em instruções que podem ser verificadas por um programa de computador, os pesquisadores reconhecem que aplicá-lo a solicitações mais abertas, como aquelas envolvendo estilo ou tom, exigiria mais trabalho. No entanto, as descobertas oferecem um caminho claro para tornar a inteligência artificial mais confiável quando confrontada com solicitações complexas e multifacetadas. Ao abordar o viés em direção ao caminho mais fácil, este trabalho ajuda a garantir que essas ferramentas poderosas possam realmente seguir todo o escopo da intenção de um usuário.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.