What's the plan? Metrics for implicit planning in LLMs and their application to rhyme generation and question answering

Resumo Técnico: "Qual é o Plano? Métricas para Planejamento Implícito em LLMs e Sua Aplicação à Geração de Rimas e Resposta a Perguntas"

Declaração do Problema
Embora os Modelos de Linguagem de Grande Escala (LLMs) sejam treinados na previsão do próximo token, há um debate crescente sobre se eles exibem "planejamento implícito"—a capacidade de representar objetivos futuros em ativações ocultas para condicionar a geração intermediária. Evidências anteriores, como o estudo de Lindsey et al. (2025) sobre o Claude 3.5 Haiku usando transcodificadores entre camadas, sugeriram que os modelos poderiam planejar com antecedência palavras que rimam. No entanto, tais descobertas limitaram-se a um único modelo de código fechado e dependeram de métodos computacionalmente caros e difíceis de reproduzir. Além disso, permanece o ceticismo quanto às capacidades gerais de planejamento dos LLMs, com alguns argumentos sugerindo que a geração de tokens em tempo constante impede o raciocínio principiado. Este artigo visa estabelecer se o planejamento implícito é um mecanismo universal presente em diversas famílias e tamanhos de modelos, e desenvolver métodos quantitativos escaláveis para avaliá-lo.

Metodologia
Os autores propõem um conjunto de técnicas mais simples e escaláveis para detectar e quantificar o planejamento implícito para frente e para trás, evitando a necessidade de aprendizado de dicionário complexo ou transcodificadores entre camadas. A metodologia baseia-se no direcionamento por diferença de ativação média (Arditi et al., 2024) aplicado a posições específicas na sequência de entrada.

1. Definições de Planejamento:

   • Planejamento para Frente: A criação de representações em posições anteriores que codificam propriedades de tokens de objetivo futuros.
   • Planejamento para Trás: O uso dessas representações para condicionar a geração de tokens intermediários que levam ao objetivo.
   • Planejamento Implícito: Representações existem dentro das ativações ocultas, e não em saídas explícitas (por exemplo, Cadeia de Pensamento).

2. Tarefas Experimentais:

   • Geração de Rimas: Os modelos são instruídos a completar um par de versos. O objetivo é prever a família de rima da segunda linha com base na primeira.
   • Resposta a Perguntas (QA): Os modelos respondem a perguntas onde o substantivo-alvo determina o artigo gramatical ("um" vs. "uma"). O objetivo é prever a resposta substantiva.

3. Procedimento de Direcionamento:

   • Estimativa de Vetor: Os vetores de direcionamento são calculados como a diferença média nas ativações ocultas entre duas categorias (por exemplo, linhas terminando em "-ão" vs. "-ão" com som diferente, ou conforme o contexto original "-ight" vs. "-ake") em posições específicas (por exemplo, a última palavra da primeira linha, o token de nova linha ou o ponto de interrogação).
   • Intervenção: Durante a geração, o vetor de direcionamento é adicionado ao fluxo residual na posição e camada escolhidas.
   • Métricas:
     • Planejamento para Frente: Medido pela "Fração de Família de Rima/Resposta Correta" nas gerações direcionadas.
     • Planejamento para Trás: Medido por "Métricas de Regeneração". O modelo é solicitado a regenerar a última palavra de uma linha gerada sem o contexto original. Se o modelo planejou com sucesso para trás, a palavra regenerada ainda deve alinhar-se com a família de rima/resposta pretendida.
     • Métricas de Probabilidade: Análise da divergência KL e deslocamentos do token top-1 em etapas intermediárias para detectar mudanças nas distribuições de probabilidade causadas pelo direcionamento.

4. Conjuntos de Dados e Modelos:

   • Conjuntos de Dados: 1.050 linhas para 10 famílias de rimas e 500 perguntas para 20 pares de substantivos (distinguindo entre substantivos que começam com vogal/consoante).
   • Modelos: 23 modelos de pesos abertos em quatro famílias (Gemma2, Gemma3, Qwen3, Llama3.1/3.2) variando de 1B a 32B parâmetros, incluindo versões base e ajustadas por instrução.

Principais Resultados

• Universalidade do Planejamento Implícito: Evidências de planejamento bem-sucedido para frente e para trás foram encontradas em todos os 23 modelos, incluindo aqueles com apenas 1B de parâmetros. Isso sugere que o planejamento é um mecanismo universal, não limitado a modelos massivos.
• Eficácia do Direcionamento:
  • O direcionamento no final da primeira linha (última palavra ou token de nova linha) alterou com sucesso a família de rima gerada na segunda linha.
  • O direcionamento deslocou com sucesso a escolha do artigo ("um" vs. "uma") em tarefas de QA antes que a resposta substantiva fosse gerada, confirmando o planejamento para trás.
  • Modelos ajustados por instrução geralmente exibiram comportamentos de planejamento mais fortes e maior eficácia de direcionamento do que suas contrapartes base.
• Validação do Planejamento para Trás: As métricas de regeneração mostraram que linhas geradas sob direcionamento tinham maior probabilidade de serem completadas com a rima/resposta alvo, mesmo quando o contexto original foi removido. Isso indica que a representação de planejamento influenciou os tokens intermediários, e não apenas a saída final.
• Análise de Circuitos (Gemma2 9B): Os autores identificaram cabeças de atenção específicas (L30H3 e L31H15) que leem na direção do direcionamento e atendem à última palavra da primeira linha e ao token de nova linha. A correção dessas cabeças com ativações direcionadas recuperou 59–93% do efeito de direcionamento, sugerindo um circuito dedicado para o planejamento de rimas.
• Diferenças entre Modelos: Embora o mecanismo seja universal, a implementação específica varia. Por exemplo, o Gemma2 9B e o Gemma3 27B utilizam o token de nova linha para planejamento, enquanto os modelos Llama dependem principalmente do token da última palavra.

Significado e Alegações
O artigo afirma fornecer a primeira evidência quantitativa abrangente de que o planejamento implícito é uma característica pervasiva em LLMs, presente mesmo em modelos com 1B de parâmetros. Ao introduzir uma metodologia que escala facilmente para muitos modelos sem treinamento caro, os autores oferecem uma maneira direta de estudar essas capacidades.

Os autores enfatizam que suas descobertas apoiam a visão de que os LLMs se envolvem em planejamento heurístico semelhante ao humano, e não apenas em previsão reativa de tokens. Eles argumentam que entender esses circuitos de planejamento é crítico para a segurança e o controle da IA, pois o planejamento implícito permite que os modelos manipulem etapas intermediárias para alcançar objetivos específicos, potencialmente ocultos. O estudo conclui que, embora os circuitos específicos diferam entre modelos e tarefas (rimas vs. QA), a capacidade subjacente de representar e agir sobre objetivos futuros é uma propriedade geral da arquitetura.

Limitações e Direções Futuras
Os autores observam que o direcionamento de palavras específicas (por exemplo, forçar uma palavra específica como "coelho" em vez de uma família de rimas) é menos eficaz do que o direcionamento em nível de família, sugerindo que o planejamento de palavras específicas pode exigir modelos maiores. Eles também reconhecem que a natureza exata dos circuitos de planejamento em modelos além do Gemma2 9B permanece uma questão em aberto. A metodologia é proposta como uma fundação para análises futuras de planejamento em outros domínios, como seguimento de instruções e raciocínio em Cadeia de Pensamento.