Beyond Fixed Directions: Adaptive Representation Analysis of Reasoning and Memorization in LLMs
Este artigo demonstra que, embora as tarefas de raciocínio e memorização em LLMs sejam decodificáveis por meio de uma única direção de representação, essa direção não é fixa, mas sofre uma reorganização geométrica substancial durante o aprendizado por reforço, mesmo enquanto a informação subjacente permanece acessível.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo em rápida evolução da inteligência artificial, os grandes modelos de linguagem tornaram-se capazes de resolver quebra-cabeças complexos e recordar vastas quantidades de informações. Cientistas há muito se perguntam como esses cérebros digitais realmente funcionam. Uma ideia prevalecente sugere que comportamentos específicos, como o raciocínio lógico ou a simples recuperação de fatos, estão ligados a caminhos distintos e fixos dentro da memória interna do modelo. Imagine a mente do modelo como um vasto espaço multidimensional onde cada pensamento deixa um rastro. Se essa ideia for verdadeira, então a diferença entre um modelo resolvendo um problema matemático e um que simplesmente recorda um fato deve ser visível como uma única linha reta apontando em uma direção específica. Esse conceito é tão atraente que alguns pesquisadores tentaram usar essas linhas fixas como guias para treinar modelos para pensar melhor, assumindo que o caminho que encontraram permaneceria constante e confiável.
No entanto, um novo estudo desafia a suposição de que esses caminhos permanecem no lugar. Pesquisadores analisaram mais de perto um pequeno modelo de linguagem, especificamente uma versão conhecida como Qwen3-0.6B, para ver se essa ideia de direção fixa se sustenta quando o modelo é submetido a um treinamento rigoroso. Eles reuniram um conjunto cuidadosamente equilibrado de 400 exemplos, metade dos quais exigia raciocínio lógico e metade exigia recuperação de fatos. Ao eliminar distrações como o comprimento da frase ou vocabulário específico, eles garantiram que qualquer diferença encontrada fosse verdadeiramente sobre o tipo de pensamento envolvido. Sua primeira descoberta foi tranquilizadora: eles confirmaram que, em qualquer momento individual, a diferença entre raciocinar e memorizar é, de fato, tão clara que uma única linha pode separar os dois grupos perfeitamente. Na verdade, essa linha simples funcionou tão bem quanto uma análise complexa e de alta dimensão que observou todos os ângulos possíveis dos dados.
A história toma um rumo diferente quando os pesquisadores treinaram o modelo usando uma técnica poderosa chamada otimização de política relativa ao grupo (group-relative policy optimization), um método projetado para impulsionar as habilidades de raciocínio. Eles esperavam que, se a ideia de direção fixa fosse verdadeira, a linha que separa o raciocínio da memória permaneceria no mesmo lugar, mesmo enquanto o modelo aprendia. Em vez disso, descobriram que, embora o modelo ainda soubesse a diferença entre as duas tarefas perfeitamente bem, a direção real desse conhecimento havia mudado drasticamente. Após o treinamento, a linha que antes apontava claramente para o "raciocínio" havia rotacionado tanto que não estava mais alinhada com sua posição original. Em média, a nova direção era apenas cerca de 45 por cento semelhante à antiga e, nas camadas mais profundas do modelo, o deslocamento foi ainda mais pronunciado, com a representação interna derivando em mais da metade.
Essa descoberta revela uma distinção crucial entre o que um modelo sabe e como ele armazena esse conhecimento. A informação em si não desapareceu; o modelo ainda conseguia distinguir entre um problema matemático e uma pergunta de conhecimentos gerais com precisão perfeita após o treinamento. Mas as coordenadas geométricas que ele usava para expressar essa distinção foram completamente reorganizadas. É como se o mapa de uma cidade permanecesse perfeitamente preciso ao dizer onde fica a biblioteca, mas as direções da bússola no mapa tivessem sido rotacionadas de modo que o "norte" agora apontasse para onde o "leste" costumava apontar. Os pesquisadores mediram esse deslocamento comparando o estado interno do modelo antes e depois do treinamento, descobrindo que a mudança não foi apenas um ajuste menor, mas uma reorganização substancial do cenário interno do modelo.
O estudo conclui que, embora a capacidade de separar o raciocínio da memória seja robusta, a ideia de que essa capacidade depende de uma única direção imutável é incorreta. A informação persiste, mas o caminho específico que ela percorre através da mente do modelo é fluido e muda com o aprendizado. Isso sugere que, para esforços futuros de guiar a inteligência artificial usando essas direções internas, os cientistas não podem simplesmente encontrar um caminho uma vez e assumir que ele permanecerá válido. Em vez disso, eles devem aceitar que o próprio mapa está sendo constantemente redesenhado, mesmo que os pontos de referência permaneçam no lugar. A estabilidade do conhecimento não garante a estabilidade do caminho usado para acessá-lo.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.