Resumo Técnico: Verbalizador de Ativação Universal (UAV)

Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham alcançado sucesso significativo por meio da aprendizagem de representações, compreender as informações específicas codificadas em suas ativações internas permanece um desafio central. Os métodos existentes de verbalização de ativações — nos quais um modelo descreve o conteúdo de um estado oculto em linguagem natural — são predominantemente limitados à autoexplicação. Nessas abordagens, um modelo é treinado para explicar apenas suas próprias ativações. Essa restrição impede a reutilização de verbalizadores entre diferentes famílias de modelos, arquiteturas ou escalas, tornando a análise de grandes modelos "doadores" ineficiente e não generalizável. Além disso, métodos sem treinamento (por exemplo, aplicar ativações diretamente em prompts) frequentemente falham em recuperar informações factuais e semânticas de alta granularidade.

Metodologia: O Framework UAV

Os autores propõem o Verbalizador de Ativação Universal (UAV), um framework unificado projetado para explicar ativações de modelos doadores heterogêneos usando um decodificador compartilhado. O framework opera na premissa de que um adaptador leve pode mapear ativações de doadores para o espaço de incorporação de um modelo decodificador, permitindo a verbalização entre modelos.

Arquitetura

O UAV consiste em dois componentes principais:

1. Adaptador Treinável ($\mathcal{A}$): Este módulo faz a ponte entre o espaço de ativação do doador e o espaço de incorporação do decodificador. Ele mapeia uma ativação específica do doador $h_i^\ell$ (da camada $\ell$ na posição $i$) para uma sequência de $n$ "tokens suaves" contínuos ($z_{1:n}$). O artigo investiga duas arquiteturas de adaptador:
   • Estilo MLP: Uma rede de projeção com camadas de gargalo opcionais.
   • Estilo Q-Former: Um design baseado em atenção usando tokens de consulta aprendíveis para extrair informações de slots de contexto derivados da ativação do doador.
2. Modelo Decodificador ($\mathcal{M}_v$): Um modelo de linguagem congelado ou parcialmente ajustado (por exemplo, família Qwen) que gera explicações em linguagem natural. Os tokens suaves gerados pelo adaptador são adicionados ao início do prompt textual como um prefixo condicionado à ativação.

Estratégia de Treinamento

O UAV emprega um processo de treinamento em duas etapas:

1. Alinhamento Ativação-para-Texto (Etapa 1): O adaptador é treinado para reconstruir o prefixo de texto de entrada $\langle t_0, \dots, t_i \rangle$ a partir da ativação do doador $h_i^\ell$ usando força de professor. O decodificador permanece congelado durante esta etapa. Isso serve como um aquecimento para alinhar o espaço de ativação com o espaço de incorporação do decodificador.
2. Alinhamento de Seguimento de Instruções (Etapa 2): O modelo é ajustado para responder a perguntas sobre o texto de entrada (por exemplo, "Qual é a ideia principal?" ou "Qual era a profissão?"). Esta etapa envolve o treinamento conjunto do adaptador e dos parâmetros do lado do decodificador (especificamente LoRA) para melhorar a capacidade do modelo de seguir instruções orientadas à explicação.

Transferência Apenas do Adaptador

Uma inovação chave é a estratégia de Transferência Apenas do Adaptador. Após realizar a adaptação completa em duas etapas em um doador de origem, o LoRA do lado do decodificador é congelado. Para um novo modelo doador, apenas um novo adaptador é treinado do zero, mantendo o backbone do decodificador e o LoRA aprendido fixos. Isso permite a reutilização do comportamento orientado à explicação do decodificador em diferentes modelos doadores sem retreinar todo o sistema.

Contribuições Principais

1. Framework Unificado: A proposta do UAV, um framework adaptador-decodificador que permite a verbalização de ativações entre modelos em famílias heterogêneas (por exemplo, Llama, Gemma, Yi, Qwen) e escalas.
2. Transferência Apenas do Adaptador: A introdução de um mecanismo de transferência que congela o LoRA do lado do decodificador, permitindo uma adaptação eficiente a novos doadores treinando apenas o adaptador.
3. Análise Sistemática: Experimentos abrangentes e ablações demonstrando que o UAV suporta a explicação de ativações entre famílias de modelos, mantendo-se competitivo em relação a fortes baselines de autoexplicação.

Resultados Experimentais

Os autores avaliaram o UAV em tarefas de QA (Resposta a Perguntas) gerativas fundamentadas em ativações, cobrindo classificação, recuperação de fatos e sumarização de ideias principais.

• Desempenho vs. Baselines: O UAV supera significativamente métodos sem treinamento (SelfIE, PatchScope), particularmente na recuperação de fatos, onde métodos de aplicação (patching) lutam com informações de alta granularidade. Comparado a baselines de autoexplicação baseadas em treinamento (LatentQA, Activation Oracle), o UAV permanece competitivo, frequentemente alcançando os melhores ROUGE-L e BERTScore gerais em configurações de autoexplicação.
• Capacidade entre Modelos: Um decodificador compartilhado (por exemplo, Qwen3-4B) verbaliza com sucesso ativações de diversos doadores (Llama-3.1-8B, Gemma-3, Yi-1.5-34B). Embora a auto-decodificação (usar o doador como seu próprio decodificador) geralmente produza resultados ligeiramente melhores, a lacuna de desempenho na verbalização entre modelos é moderada, demonstrando a universalidade do framework.
• Tamanho do Decodificador: Decodificadores maiores (até 14B) geralmente melhoram o desempenho, sugerindo uma melhor conversão de sinais de ativação alinhados em linguagem natural, embora a tendência não seja estritamente monótona.
• Análise de Componentes (Ablações):
  • Ajuste do Lado do Decodificador: Melhora primariamente o comportamento em nível de tarefa e o seguimento de instruções (por exemplo, padrões de classificação).
  • Adaptador: Essencial para recuperar informações factuais e semânticas específicas da entrada. Sem o adaptador treinado, o modelo não consegue extrair com confiabilidade detalhes de alta granularidade das ativações.
  • Aquecimento da Etapa 1: A etapa de alinhamento ativação-para-texto é um pré-requisito crítico; removê-la degrada consistentemente o desempenho.

Significado e Alegações

O artigo alega que o UAV aborda a ineficiência e a falta de generalizabilidade nos métodos atuais de explicação de ativações. Ao desacoplar o mapeamento de ativações (adaptador) da capacidade de geração (decodificador), o UAV permite:

• Reutilizabilidade: Um único decodificador orientado à explicação pode ser adaptado a múltiplos modelos doadores.
• Eficiência: A estratégia de transferência apenas do adaptador reduz os custos computacionais ao analisar novos modelos.
• Fidelidade: O framework fornece um mecanismo para recuperar informações factuais e semânticas das ativações que frequentemente se perdem em abordagens sem treinamento.

Os autores reconhecem limitações, observando que o UAV ainda enfrenta desafios na recuperação de atributos de alta granularidade a partir de ativações individuais e está atualmente limitado a entradas de contexto curto. Trabalhos futuros são propostos para melhorar a recuperação de fatos e a compreensão de ideias principais por meio de alinhamento mais forte e supervisão mais rica.