Resumen Técnico: Verbalizador de Activación Universal (UAV)

Enunciado del Problema

Aunque los Modelos de Lenguaje Grandes (LLM) han logrado un éxito significativo mediante el aprendizaje de representaciones, comprender la información específica codificada en sus activaciones internas sigue siendo un desafío central. Los métodos existentes de verbalización de activaciones, donde un modelo describe el contenido de un estado oculto en lenguaje natural, se limitan predominantemente a la autoexplicación. En estos enfoques, un modelo se entrena para explicar únicamente sus propias activaciones. Esta restricción impide la reutilización de verbalizadores entre diferentes familias de modelos, arquitecturas o escalas, haciendo que el análisis de grandes modelos "donantes" sea ineficiente y no generalizable. Además, los métodos sin entrenamiento (por ejemplo, insertar activaciones directamente en los prompts) a menudo fallan en recuperar información factual y semántica de granularidad fina.

Metodología: El Marco UAV

Los autores proponen el Verbalizador de Activación Universal (UAV), un marco unificado diseñado para explicar activaciones de modelos donantes heterogéneos utilizando un decodificador compartido. El marco opera bajo la premisa de que un adaptador ligero puede mapear las activaciones del donante al espacio de incrustaciones de un modelo decodificador, habilitando la verbalización entre modelos.

Arquitectura

UAV consta de dos componentes principales:

1. Adaptador Entrenable ($\mathcal{A}$): Este módulo conecta el espacio de activación del donante y el espacio de incrustaciones del decodificador. Mapea una activación específica del donante $h_i^\ell$ (de la capa $\ell$ en la posición $i$) a una secuencia de $n$ "tokens suaves" continuos ($z_{1:n}$). El artículo investiga dos arquitecturas de adaptador:
   • Estilo MLP: Una red de proyección con capas de cuello de botella opcionales.
   • Estilo Q-Former: Un diseño basado en atención que utiliza tokens de consulta aprendibles para extraer información de los espacios de contexto derivados de la activación del donante.
2. Modelo Decodificador ($\mathcal{M}_v$): Un modelo de lenguaje congelado o parcialmente ajustado (por ejemplo, familia Qwen) que genera explicaciones en lenguaje natural. Los tokens suaves generados por el adaptador se anteponen al prompt de texto como un prefijo condicionado a la activación.

Estrategia de Entrenamiento

UAV emplea un proceso de entrenamiento en dos etapas:

1. Alineación Activación-a-Texto (Etapa 1): El adaptador se entrena para reconstruir el prefijo de texto de entrada $\langle t_0, \dots, t_i \rangle$ a partir de la activación del donante $h_i^\ell$ utilizando fuerza de enseñanza. El decodificador se mantiene congelado durante esta etapa. Esto sirve como un calentamiento para alinear el espacio de activación con el espacio de incrustaciones del decodificador.
2. Alineación de Seguimiento de Instrucciones (Etapa 2): El modelo se ajusta finamente para responder preguntas sobre el texto de entrada (por ejemplo, "¿Cuál es la esencia?" o "¿Cuál era la profesión?"). Esta etapa implica el entrenamiento conjunto del adaptador y los parámetros del lado del decodificador (específicamente LoRA) para mejorar la capacidad del modelo de seguir instrucciones orientadas a la explicación.

Transferencia Solo de Adaptador

Una innovación clave es la estrategia de Transferencia Solo de Adaptador. Después de realizar una adaptación completa en dos etapas sobre un donante fuente, el LoRA del lado del decodificador se congela. Para un nuevo modelo donante, solo se entrena un nuevo adaptador desde cero, manteniendo fijos el esqueleto del decodificador y el LoRA aprendido. Esto permite la reutilización del comportamiento orientado a la explicación del decodificador en diferentes modelos donantes sin reentrenar todo el sistema.

Contribuciones Clave

1. Marco Unificado: La propuesta de UAV, un marco adaptador-decodificador que habilita la verbalización de activaciones entre modelos en familias de modelos heterogéneas (por ejemplo, Llama, Gemma, Yi, Qwen) y escalas.
2. Transferencia Solo de Adaptador: La introducción de un mecanismo de transferencia que congela el LoRA del lado del decodificador, permitiendo una adaptación eficiente a nuevos donantes entrenando únicamente el adaptador.
3. Análisis Sistemático: Experimentos y ablaciones exhaustivas que demuestran que UAV soporta la explicación de activaciones entre familias de modelos, manteniéndose competitivo frente a sólidas líneas base de autoexplicación.

Resultados Experimentales

Los autores evaluaron UAV en tareas de preguntas y respuestas (QA) generativas basadas en activaciones que cubren clasificación, recuperación de hechos y resumen de la esencia.

• Rendimiento frente a Líneas Base: UAV supera significativamente a los métodos sin entrenamiento (SelfIE, PatchScope), particularmente en la recuperación de hechos, donde los métodos de inserción luchan con información de granularidad fina. En comparación con las líneas base de autoexplicación basadas en entrenamiento (LatentQA, Activation Oracle), UAV se mantiene competitivo, a menudo logrando el mejor ROUGE-L y BERTScore general en configuraciones de autoexplicación.
• Capacidad entre Modelos: Un decodificador compartido (por ejemplo, Qwen3-4B) verbaliza con éxito las activaciones de diversos donantes (Llama-3.1-8B, Gemma-3, Yi-1.5-34B). Aunque la auto-decodificación (usar el donante como su propio decodificador) generalmente produce resultados ligeramente mejores, la brecha de rendimiento en la verbalización entre modelos es moderada, demostrando la universalidad del marco.
• Tamaño del Decodificador: Los decodificadores más grandes (hasta 14B) mejoran generalmente el rendimiento, sugiriendo una mejor conversión de señales de activación alineadas en lenguaje natural, aunque la tendencia no es estrictamente monótona.
• Análisis de Componentes (Ablaciones):
  • Ajuste del Lado del Decodificador: Mejora principalmente el comportamiento a nivel de tarea y el seguimiento de instrucciones (por ejemplo, patrones de clasificación).
  • Adaptador: Esencial para recuperar información factual y semántica específica de la entrada. Sin el adaptador entrenado, el modelo no puede extraer de manera fiable detalles de granularidad fina de las activaciones.
  • Calentamiento de Etapa 1: La etapa de alineación activación-a-texto es un prerrequisito crítico; su eliminación degrada consistentemente el rendimiento.

Significado y Afirmaciones

El artículo afirma que UAV aborda la ineficiencia y la falta de generalización en los métodos actuales de explicación de activaciones. Al desacoplar el mapeo de activaciones (adaptador) de la capacidad de generación (decodificador), UAV permite:

• Reutilizabilidad: Un único decodificador orientado a la explicación puede adaptarse a múltiples modelos donantes.
• Eficiencia: La estrategia de transferencia solo de adaptador reduce los costos computacionales al analizar nuevos modelos.
• Fidelidad: El marco proporciona un mecanismo para recuperar información factual y semántica de las activaciones que a menudo se pierde en los enfoques sin entrenamiento.

Los autores reconocen limitaciones, señalando que UAV aún enfrenta desafíos en la recuperación de atributos de granularidad fina a partir de activaciones individuales y que actualmente se limita a entradas de contexto corto. Se propone trabajo futuro para mejorar la recuperación de hechos y la comprensión de la esencia mediante una alineación más fuerte y una supervisión más rica.