Resumo Técnico: Direcionamento de Preferência Intertemporal em Qwen3 via Adição de Ativação Contrastiva

Declaração do Problema

O artigo investiga se as preferências intertemporais (a troca entre recompensas imediatas e atrasadas) em modelos de linguagem de grande escala (LLMs) são representadas como características lineares dentro do fluxo residual do modelo e se essas características podem ser manipuladas causalmente para alterar o comportamento do modelo. Especificamente, os autores perguntam se o "horizonte temporal" de um modelo — sua tendência de priorizar resultados de curto versus longo prazo — pode ser identificado via sondas lineares e direcionado usando a Adição de Ativação Contrastiva (CAA) para induzir mudanças significativas e bidirecionais em preferências e capacidades de planejamento.

Metodologia

Modelo e Dados

• Modelo: Os experimentos utilizam o Qwen3-32B com traços de pensamento (thinking traces) desativados.
• Datasets:
  • Dataset Explícito: 500 questões de escolha temporal com marcadores de tempo explícitos (ex: "próximos 30 dias" vs. "10 anos"). Dividido em 400 exemplos de treinamento e 100 de teste.
  • Dataset Implícito: 300 questões que codificam horizontes temporais através de contrastes semânticos (ex: "contendo danos" vs. "redesenhar a arquitetura") sem palavras de tempo explícitas. Usado para avaliação de domínio cruzado.
  • Treinamento Teacher-Forced: Para cada questão, o modelo é forçado a gerar tanto uma continuação de curto prazo quanto uma de longo prazo para criar exemplos de treinamento pareados.

Construção da Direção (Treinamento da Sonda)

Os autores constroem uma direção de diferença de médias contrastiva assinada ($d_{MM}$) para representar o horizonte temporal.

• Agrupamento (Pooling): Eles utilizam o agrupamento Mean-Mass (MM), calculando a média dos estados ocultos em todos os tokens da continuação da resposta, em vez de usar apenas o último token. Isso é escolhido para alinhar melhor com as intervenções aplicadas durante a geração.
• Definição do Vetor: Em camadas específicas ($l \in \{24, 28, \dots, 48\}$), a direção é definida como:
  $$d_{MM} = \mu_{long} - \mu_{imm}$$
  onde $\mu$ representa a ativação média das continuações de longo prazo e imediata (curto prazo), respectivamente.
• Diagnósticos: Os autores comparam a direção MM contra sondas de Regressão Logística (LR), Whitened LR (WLR) e Whitened MM (WMM). Embora as variantes branqueadas (whitened) alcancem uma precisão de classificação ligeiramente maior nos dados de teste, a direção MM não branqueada é selecionada para o direcionamento para preservar a natureza assinada do contraste.

Intervenção de Direcionamento (CAA)

A direção identificada é usada para a Adição de Ativação Contrastiva durante a inferência:

• Mecanismo: Um vetor normalizado $\hat{d}_l$ é adicionado ao fluxo residual em uma camada selecionada $l$ e em cada etapa de decodificação.
• Fórmula: A intervenção adiciona $\alpha \hat{d}_l$ ao fluxo residual, onde $\alpha$ é um parâmetro de força assinado.
  • $\alpha$ Positivo: Direciona o modelo para a classe de longo prazo.
  • $\alpha$ Negativo: Direciona o modelo para a classe de curto prazo/imediato.
• Controle: Um controle de norma correspondente utilizando um vetor unitário aleatório ortogonal à direção MM é empregado para garantir que os efeitos não sejam devidos a uma perturbação genérica.

Experimentos Principidos e Resultados

1. Direcionamento Temporal Binário (Avaliação de Hold-Out)

• Tarefa: O modelo é apresentado com questões de escolha binária (opções de curto prazo vs. longo prazo) do conjunto de teste explícito retido e do conjunto implícito completo.
• Resultado: O direcionamento por CAA produz mudanças sistemáticas e bidirecionais nas escolhas do modelo.
  • O direcionamento positivo aumenta significativamente a proporção de escolhas de longo prazo.
  • O direcionamento negativo aumenta significativamente as escolhas de curto prazo.
  • O efeito é observado em uma ampla gama de camadas intermediárias a tardias (24–48), com a Camada 44 apresentando o maior contraste de escolha analisado em ambos os conjuntos de avaliação.
  • Controles ortogonais aleatórios produzem mudanças negligenciáveis e inconsistentes, confirmando o papel causal da direção temporal específica.

2. Direcionamento de Utilidade do Tempo (Generalização Out-of-Distribution)

• Tarefa: O modelo é questionado sobre questões de escolha intertemporal monetária (ex: "Pegar \X agora ou \Y em $t$ dias?"). Esta tarefa não foi utilizada para treinar a direção da sonda.
• Métrica: Multiplicador de Indiferença Equivalente de Área (AEIM), que estima a razão de recompensa ($Y/X$) na qual o modelo é indiferente entre recompensas imediatas e atrasadas.
• Resultado: O direcionamento altera significativamente o limiar de indiferença do modelo:
  • Direcionamento Negativo: Aumenta o AEIM, o que significa que o modelo exige uma recompensa atrasada muito maior para esperar (torna-se mais impaciente).
  • Direcionamento Positivo: Diminui o AEIM, o que significa que o modelo aceita menores recompensas atrasadas (torna-se mais paciente).
  • Magnitude: Em um horizonte de 10 anos (3650 dias) e força máxima ($|\alpha|=128$), a razão de AEIM entre o direcionamento negativo e o positivo excede 56x. Isso demonstra que uma direção treinada em escolhas binárias semânticas se generaliza para trocas quantitativas monetárias.

3. Benchmark de Capacidade TravelPlanner

• Tarefa: Um benchmark de planejamento de viagens do mundo real que requer itinerários de vários dias que satisfaçam restrições (transporte, orçamento, etc.).
• Métrica: Taxa de Passagem Micro de Restrições de Senso Comum (a fração de verificações individuais de senso comum atendidas).
• Resultado: O direcionamento temporal afeta a capacidade de planejamento, mas a relação é não-monotônica:
  • Direcionamento Positivo Moderado: Melhora a taxa de passagem de senso comum.
  • Direcionamento Negativo: Degrada o desempenho.
  • Direcionamento Positivo Forte ($|\alpha|=128$): Degrada o desempenho, provavelmente devido ao empurrão do modelo para fora da distribuição (out-of-distribution), causando problemas de coerência.
  • Isso sugere que, embora a direção temporal influencie o planejamento, existe um "ponto ideal" (sweet spot) para a força do direcionamento. Os autores selecionaram a Camada 40 como uma camada representante de computação restrita da banda de sondagem intermediária-tardia para este experimento específico, em vez de como um ótimo específico da tarefa.

Principais Contribuições

1. Identificação de Representações Lineares: Demonstrou que as preferências intertemporais no Qwen3-32B são linearmente separáveis no fluxo residual e podem ser capturadas via sondas lineares contrastivas simples.
2. Direcionamento Causal: Provou que a adição desses vetores lineares desloca causalmente o comportamento do modelo em escolhas binárias de teste e, crucialmente, em tarefas monetárias fora da distribuição (out-of-distribution).
3. Generalização: Mostrou que uma direção treinada em contrastes semânticos de curto prazo/longo prazo direciona efetivamente métricas de preferência temporal quantitativa (AEIM) em uma tarefa estruturalmente distinta.
4. Impacto na Capacidade: Forneceu evidências de que o direcionamento de preferências temporais pode modular capacidades relacionadas ao planejamento, embora com retornos decrescentes em forças de intervenção extremas.

Significância e Alegações

O artigo afirma que as preferências intertemporais do modelo são mensuráveis e direcionáveis, desafiando a visão de que tais preferências são meramente efeitos colaterais opacos do pré-treinamento ou do ajuste de instrução (instruction tuning).

• Segurança e Alinhamento: A capacidade de direcionar horizontes temporais é relevante para sistemas de IA que fornecem aconselhamento em finanças, saúde e políticas, onde custos e benefícios atrasados são críticos. Destaca um problema de segurança: um modelo pode internamente otimizar sobre um horizonte diferente daquele que apresenta aos usuários, tornando difícil a avaliação baseada apenas nos resultados.
• Risco de Duplo Uso: Os autores observam explicitamente que a capacidade de direcionar preferências temporais poderia ser abusada por atores maliciosos para forçar modelos a decisões desalinhadas com os valores do usuário (ex: forçar o imediatismo ou o foco no longo prazo de forma inapropriada).
• Insight Mecanístico: Os resultados apoiam o paradigma da interpretabilidade mecânica, onde conceitos de alto nível (como horizonte temporal) correspondem a direções específicas e manipuláveis no espaço de ativação do modelo.

Limitações Reconhecidas pelos Autros

• Validade de Construto: A direção treinada pode capturar características semânticas correlacionadas (abstração, urgência, escopo estratégico) em vez de "horizonte temporal" isoladamente.
• Escala de Intervenção: Fortes forças de direcionamento podem degradar outras capacidades (factualidade, coerência) junto com a mudança de preferências.
• Escopo: Os experimentos são limitados a uma família de modelos (Qwen3-32B), templates de prompt específicos e traços de pensamento desativados. Os resultados podem não se transferir para outras arquiteturas ou configurações com raciocínio habilitado.
• Especificidade do Benchmark: Os resultados do TravelPlanner baseiam-se em métricas agregadas e não identificam exatamente quais restrições específicas são afetadas pelo direcionamento.