Training on Broken Contexts: Source Loss and Repair in Tool-Augmented LLM Post-Training
Este artigo identifica e quantifica uma falha crítica no treinamento de LLMs aumentados por ferramentas, onde as políticas padrão de construção de sequências rompem o vínculo entre os alvos do assistente e suas observações de origem da ferramenta, e propõe estratégias de reconstrução que melhoram significativamente a cobertura de supervisão e a integridade do contexto, ao mesmo tempo em que reduzem a redundância de tokens.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Os assistentes de inteligência artificial modernos estão sendo cada vez mais projetados para atuar como agentes que podem recorrer a ferramentas externas para resolver problemas. Quando um usuário faz uma pergunta, o modelo pode decidir chamar um banco de dados, verificar um serviço de meteorologia ou recuperar o status de um pedido. Para ensinar um modelo a fazer isso, pesquisadores fornecem a ele milhares de exemplos dessas interações. Esses exemplos não são apenas perguntas e respostas simples; são conversas complexas contendo a solicitação do usuário, a decisão do modelo de usar uma ferramenta, os dados brutos retornados por essa ferramenta e, finalmente, a resposta do modelo que utiliza esses dados para responder ao usuário. O objetivo do treinamento é mostrar ao modelo a história completa para que ele aprenda a conectar os pontos entre a saída de uma ferramenta e a resposta final.
No entanto, existe uma etapa oculta nesse processo que ocorre depois que as conversas são escritas, mas antes que o modelo realmente aprenda com elas. Para ajustar essas histórias longas à memória do computador, o software de treinamento deve fatiá-las, rearranjá-las ou cortá-las para caber em um limite de tamanho específico. Este artigo investiga o que acontece quando esse corte e rearranjo dão errado. Os pesquisadores fizeram uma pergunta simples, mas crítica: quando o computador corta uma conversa para caber em um slot de treinamento, ele às vezes mantém a resposta final enquanto acidentalmente descarta os dados da ferramenta nos quais essa resposta se baseava? Se o modelo está sendo avaliado por uma resposta, mas a evidência para essa resposta está faltando de sua visão, o modelo está sendo solicitado a aprender um truque de mágica em vez de um processo lógico.
Os pesquisadores examinaram três grandes coleções de conversas de uso de ferramentas que são comumente usadas para treinar esses sistemas. Eles construíram um sistema de rastreamento que acompanhou cada peça de texto da conversa original através do processo de corte e rearranjo. Eles procuraram especificamente por momentos em que o modelo deveria aprender com um valor retornado por uma ferramenta, como um número de pedido específico ou um código de erro, e verificaram se esse valor ainda estava visível para o modelo quando ele estava aprendendo a escrever a resposta. Eles testaram isso em diferentes tamanhos de blocos de treinamento, variando de muito curtos a bastante longos, e usaram vários métodos diferentes para como o software decide cortar e empacotar o texto.
Os resultados revelaram um problema significativo na forma como alguns dados de treinamento são atualmente preparados. Quando o software usa um método que divide conversas longas em pedaços menores para caber em um tamanho fixo, ele frequentemente separa a resposta dos dados da ferramenta dos quais ela depende. Em um dos conjuntos de dados que estudaram, quase quarenta por cento das respostas retidas estavam sendo ensinadas ao modelo sem a observação da ferramenta que as justificava. Em outro conjunto de dados, cerca de vinte por cento das respostas foram semelhantemente órfãs. Isso significa que o modelo está sendo recompensado por gerar um texto que ele não poderia possivelmente saber, porque a evidência de que ele precisa foi cortada e colocada em outra parte da sequência de treinamento que o modelo não consegue ver naquele momento.
O estudo também descobriu que a maneira como os dados são cortados altera o que o modelo realmente aprende. Um método comum de empacotamento, que tenta encaixar o máximo de exemplos possível em um único bloco sem dividi-los, evita totalmente esse problema de separação. No entanto, este método é tão rigoroso que descarta a maior parte dos dados de treinamento, mantendo apenas uma fração minúscula das conversas originais. Os pesquisadores mostraram que existe um compromisso: métodos que mantêm quase todos os dados frequentemente quebram a conexão entre a ferramenta e a resposta, enquanto métodos que mantêm a conexão intacta frequentemente descartam dados demais para serem úteis.
Para corrigir isso, os pesquisadores propuseram uma nova maneira de reconstruir os exemplos de treinamento. Em vez de cortar o texto cegamente, eles sugeriram agrupar partes relacionadas da mesma conversa para que os dados da ferramenta e a resposta sempre permaneçam na mesma janela de visualização. Eles descobriram que, ao agrupar cuidadosamente essas peças, poderiam manter o mesmo número de respostas corretas enquanto usavam menos memória do computador e eliminavam milhares de peças duplicadas. Eles também descobriram que, para alguns conjuntos de dados, a lista de regras descrevendo como usar uma ferramenta ocupa tanto espaço que empurra a conversa real para fora da janela. Ao simplificar essas listas de regras para mostrar apenas as partes específicas necessárias para uma única chamada, eles conseguiram encaixar muito mais exemplos úteis no processo de treinamento.
Finalmente, os pesquisadores verificaram o código de software usado por muitos desenvolvedores para preparar esses dados e encontraram um erro oculto em uma versão amplamente utilizada. Esse erro fazia com que o software acidentalmente repetisse partes do texto ou misturasse a ordem das palavras ao processar grandes lotes de dados, criando um fluxo de informações que não correspondia à conversa original de forma alguma. Essa descoberta destaca que o problema não está apenas nos dados em si, mas nas ferramentas usadas para prepará-los. O artigo conclui que a maneira como os dados de treinamento são construídos é tão importante quanto os próprios dados. Se a conexão entre a saída de uma ferramenta e a resposta do modelo for quebrada durante a preparação, o modelo não poderá aprender a usar a ferramenta corretamente, não importa quanto dado ele veja. Os pesquisadores instam que os futuros sistemas de treinamento devem verificar se o contexto necessário para uma resposta está de fato presente quando o modelo está aprendendo com ela.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.