A Mechanistic Analysis of In-Context Learning and Out-of-Context Hallucination
Este artigo propõe um arcabouço mecanístico unificado que explica tanto o aprendizado em contexto quanto a alucinação fora de contexto como resultados de como a informação de papel é internamente representada e agregada, demonstrando que a adesão bem-sucedida a regras versus a alucinação depende da magnitude e da coerência das contribuições do escopo do papel em pontos de decisão fundamentais.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelo autor. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Os modelos de linguagem de grande escala são os motores por trás de uma nova geração de inteligência artificial, capazes de ler um comando e gerar texto semelhante ao humano sob demanda. Uma de suas habilidades mais celebradas é o aprendizado em contexto, onde um modelo pode inferir uma regra específica a partir dos exemplos fornecidos em um comando e segui-la fielmente. Se um usuário pedir ao modelo para resumir uma lista de registros como um objeto JSON, o modelo pode aprender esse formato e aplicá-lo perfeitamente. No entanto, esses mesmos sistemas sofrem de uma falha frustrante conhecida como alucinação. Às vezes, quando solicitado a responder uma pergunta com base em evidências fornecidas, o modelo ignora os fatos que estão bem à sua frente e inventa detalhes que não são suportados pelo texto. Isso cria uma contradição intrigante: como pode a mesma máquina ser tão obediente a uma regra que acabou de aprender e, ao mesmo tempo, tão descuidada com os fatos que lhe foram dados? Por anos, pesquisadores estudaram esses dois comportamentos separadamente, tratando-os como fenômenos distintos. Mas essa separação deixou uma lacuna em nossa compreensão sobre o porquê de o modelo ter sucesso em um caso e falhar no outro.
Uma equipe de pesquisadores da Universidade Nacional de Singapura agora preencheu essa lacuna ao observar a mecânica interna desses modelos. Eles propõem que tanto o seguimento bem-sucedido de regras quanto a falha em aderir aos fatos dependem do mesmo processo subjacente. A chave para a descoberta deles reside em como o modelo processa as diferentes partes de um comando. Em qualquer comando dado, parte do texto atua como uma regra, dizendo ao modelo como estruturar sua resposta, enquanto outra parte do texto atua como evidência, fornecendo os fatos específicos a serem usados. Os pesquisadores descobriram que o modelo de fato "compreende" a diferença entre esses papéis internamente. Ele cria um padrão de atividade específico e organizado em sua rede neural para representar se está observando uma regra ou uma peça de evidência. No entanto, simplesmente ter essa representação interna não é suficiente para garantir uma resposta correta. O modelo pode reconhecer o papel do texto sem realmente deixar que esse reconhecimento controle sua saída final.
Para descobrir como isso funciona, os pesquisadores desenvolveram uma forma de medir a influência de partes específicas do comando nas decisões do modelo. Eles focaram no "intervalo de papel" (role span), que é a seção específica de texto contendo a regra ou a evidência. Ao comparar o comportamento do modelo quando esse texto está presente versus quando ele é substituído por conteúdo diferente, eles pudram isolar exatamente o quanto esse texto específico estava empurrando o modelo em direção a uma certa resposta. Eles descobriram que, para o modelo seguir uma regra ou usar evidências corretamente, a influência proveniente desse texto deve ser forte o suficiente e deve apontar na direção correta consistentemente. Não basta que o modelo apenas "veja" a regra; o sinal matemático dessa regra deve ser grande o suficiente para superar outros sinais concorrentes no cérebro do modelo, e deve alinhar-se com a direção da resposta correta em cada etapa do processo de geração.
O estudo revela que a razão pela qual os modelos seguem regras tão bem, mas frequentemente falham com fatos, reside em onde e como essa influência é aplicada. Quando um modelo está seguindo uma regra, como formatar uma resposta como uma lista, a influência do texto da regra precisa ser sustentada ao longo de muitas decisões diferentes. O modelo deve escolher repetidamente a estrutura correta, e o sinal da regra deve permanecer forte o suficiente em cada uma dessas etapas para manter o modelo no caminho certo. Em contraste, quando um modelo deve usar evidências, o momento crítico é muito mais específico. A influência do texto da evidência deve ser poderosa o suficiente no exato momento em que o modelo decide sobre um fato específico. Se o sinal da evidência for muito fraco naquele instante preciso, ou se for cancelado por outros sinais, o modelo irá derivar e inventar um fato em vez de usar o fornecido.
Os pesquisadores testaram essa teoria intervindo diretamente nos cálculos do modelo. Eles descobriram que, quando enfraqueceram artificialmente o sinal vindo do texto da regra, o modelo frequentemente esquecia o formato que deveria seguir. Da mesma forma, quando reduziram a influência do texto da evidência, o modelo parou de usar os fatos fornecidos e começou a alucinar. Talvez o mais revelador seja que eles mostraram que essa falha nem sempre é permanente. Em casos onde o modelo inicialmente falhou em usar a evidência, os pesquisadores conseguiram reverter o erro ao aumentar artificialmente o sinal do texto da evidência. Quando o suporte para o fato correto tornou-se forte o suficiente para superar a hesitação inicial do modelo, ele conseguiu mudar para a resposta correta. Isso sugere que o modelo muitas vezes tem a informação correta disponível internamente, mas falha em agir sobre ela porque o sinal não é forte o suficiente para vencer a competição interna no momento da decisão.
Este trabalho oferece uma explicação unificada para dois comportamentos aparentemente opostos. Sugere que a diferença entre um modelo que segue instruções perfeitamente e um que mente sobre os fatos não é uma diferença em como ele compreende o comando, mas sim uma diferença em como a influência desse comando é sustentada durante o processo de geração. Para regras, a influência deve ser uma força constante e persistente guiando a estrutura da resposta. Para fatos, a influência deve ser um impulso nítido e decisivo no exato momento em que um valor específico é escolhido. O estudo conclui que a confiabilidade do modelo depende de o sinal interno do comando ser forte o suficiente e estar organizado corretamente para vencer esses momentos críticos de escolha. Ao compreender este mecanismo, obtemos uma imagem mais clara de por que essas ferramentas poderosas às vezes funcionam como um assistente perfeito e outras vezes como um mentiroso confiante, e como a mesma maquinaria interna é responsável por ambos os resultados.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.