Do Language Models Consistently Encode the Current Year?

Computadores modernos que leem e escrevem linguagem tornaram-se surpreendentemente bons em mimetizar a conversação humana. Eles podem resumir notícias, escrever histórias e responder perguntas sobre história. No entanto, essas máquinas possuem um ponto cego que é difícil de corrigir: elas não sabem verdadeiramente que horas são. Embora possam recitar fatos sobre o passado, seu senso interno de "agora" é frequentemente um eco confuso dos dados que lhes foram fornecidos durante o treinamento, em vez de uma consciência viva do momento presente. Essa confusão importa porque, se uma máquina acredita que o ano atual é dez anos no passado, ela pode se recusar a responder perguntas sobre eventos recentes ou, pior, pode inventar fatos com confiança sobre um futuro que ainda não aconteceu. Pesquisadores há muito se perguntam como essas mentes digitais armazenam o conceito de tempo, assumindo que, se um modelo conhece a data, deve possuir um relógio único e unificado pulsando dentro de seu código.

Um novo estudo desafia essa suposição, revelando que os modelos de linguagem não possuem um relógio único e consistente. Em vez disso, eles detêm duas ideias separadas e conflitantes sobre o ano atual. Uma ideia é profunda e estrutural, tecida na própria gramática que o modelo aprendeu ao ler a internet. A outra é rasa e superficial, um fato simples que o modelo aprendeu quando foi ensinado a seguir instruções. Os pesquisadores descobriram que, embora essas duas ideias frequentemente concordem sobre a data, elas são construídas sobre mecanismos internos completamente diferentes. Esse desmembramento cria um problema persistente: quando cientistas tentam atualizar o conhecimento do modelo para refletir o ano atual, eles conseguem corrigir facilmente o fato superficial, mas o senso gramatical profundo de tempo se recusa a mudar.

Para descobrir essa dualidade oculta, os pesquisadores projetaram duas maneiras distintas de perguntar a um modelo em que ano ele acredita que está. O primeiro método, que chamam de tarefa associativa, não pede a data diretamente. Em vez disso, apresenta ao modelo um fragmento de frase como "Em 1960 houve..." e pergunta qual palavra vem a seguir. Se o modelo prevê um verbo no passado como "foi", isso implica que o modelo pensa que 1960 é no passado. Se prevê um tempo presente ou futuro como "é" ou "será", sugere que aquele ano ainda está acontecendo ou ainda está por vir. Este método explora a compreensão intuitiva de gramática do modelo, uma habilidade que ele absorveu ao ler bilhões de frases durante seu treinamento inicial. O segundo método, a tarefa declarativa, é muito mais direto. Ele simplesmente pergunta ao modelo: "Qual é o ano atual?" ou o instiga a escrever uma história começando com o ano. Isso testa a capacidade do modelo de declarar um fato, uma habilidade geralmente refinada durante um estágio posterior de treinamento, onde aprende a seguir instruções humanas.

Quando a equipe testou esses métodos em uma ampla variedade de modelos, um padrão claro emergiu. Ambos os métodos produziram respostas que estavam surpreendentemente próximas da data em que o treinamento do modelo parou. Para o teste gramatical profundo, os modelos consistentemente adivinharam um ano que estava a apenas cerca de dez meses de distância do corte de seu treinamento. Isso sugere que o senso interno de tempo do modelo está estritamente vinculado à última data que ele viu em seus dados de treinamento. No entanto, os dois métodos não estavam apenas medindo a mesma coisa de formas diferentes; eles estavam medindo duas coisas diferentes. Os pesquisadores descobriram que o senso gramatical profundo de tempo depende de um caminho específico e organizado dentro do cérebro do modelo, semelhante à forma como ele recorda fatos sobre o mundo. Em contraste, a capacidade de simplesmente dizer o ano em voz alta não depende de um caminho único e consistente. É um comportamento flexível e de superfície, que pode ser acionado por muitas partes diferentes do modelo, dependendo de como a pergunta é feita.

Essa diferença na forma como a informação é armazenada tem consequências profundas para tentar consertar os modelos. Os pesquisadores tentaram atualizar o senso de tempo dos modelos usando três técnicas comuns: dar uma dica na conversa, retreinar o modelo com novos dados e alterar cirurgicamente seus pesos internos. Quando tentaram atualizar o ano declarativo superficial — aquele que o modelo declara quando questionado — os métodos funcionaram perfeitamente. Ao simplesmente dizer ao modelo em um comando de sistema que o ano é 2025, ou ao mostrar-lhe novos dados de 2025, o modelo começou imediatamente a declarar o ano correto com alta precisão. Era como se estivessem trocando uma etiqueta em um arquivo.

No entanto, as mesmas técnicas falharam completamente quando aplicadas ao ano associativo profundo — aquele que o modelo considera no passado. Mesmo quando o modelo foi explicitamente informado de que o ano era 2025, sua gramática interna permanecia presa no passado. Ao ser questionado para completar a frase "Em 2025 houve...", o modelo ainda previa verbos no passado, como se 2025 fosse um evento histórico. Retreinar o modelo com novos dados ajudou apenas ligeiramente, e apenas para anos muito próximos de seu corte de treinamento original. O único método que conseguiu deslocar o senso profundo de tempo foi uma edição cirúrgica complexa nas conexões internas do modelo. Mas aqui reside a reviravolta final: quando os pesquisadores usaram esse método cirúrgico para consertar o ano gramatical profundo, a capacidade do modelo de declarar o ano em voz alta permaneceu inalterada. Os dois relógios não podiam ser sincronizados.

O estudo conclui que o ano atual não é um conceito único dentro dessas máquinas. O entendimento gramatical profundo do tempo é uma parte fundamental da estrutura da linguagem que o modelo aprendeu durante seu treinamento inicial, e é incrivelmente resistente a mudanças. Está tecido na forma como o modelo conecta anos a verbos, um padrão tão enraizado que atualizações padrão não podem apagar. O entendimento declarativo superficial é uma camada separada, aprendida mais tarde, quando o modelo foi ensinado a falar com humanos, e é facilmente sobrescrito. Isso significa que simplesmente dizer a um modelo a data ou retreiná-lo com novo texto não é suficiente para lhe dar um senso de presente verdadeiro e consistente. A máquina pode dizer o ano correto, mas ainda pensa que o mundo é mais antigo do que realmente é. Esse descompasso sugere que atualizar esses modelos para que acompanhem o mundo real é muito mais difícil do que se pensava anteriormente, pois consertar uma versão da verdade deixa a outra versão obstinadamente para trás.