DeCoVec: Building Decoding Space based Task Vector for Large Language Models via In-Context Learning

Resumen Técnico: DeCoVec

1. Planteamiento del Problema

Los vectores de tarea (task vectors) han surgido como una herramienta prometedora para dirigir el comportamiento de los Modelos de Lenguaje Grandes (LLMs), representando direcciones en espacios de alta dimensión que codifican habilidades específicas. Sin embargo, los enfoques existentes presentan limitaciones significativas:

• Espacio de Operación: La mayoría opera en el espacio de pesos del modelo (requiriendo fine-tuning completo) o en el espacio de activaciones internas (requiriendo manipulación invasiva de estados ocultos).
• Costos y Escalabilidad: Estos métodos suelen ser computacionalmente costosos, requieren actualizaciones de parámetros o el uso de modelos auxiliares, lo que limita su flexibilidad y escalabilidad en despliegues reales.
• Falta de No Invasividad: No existen soluciones eficientes que permitan dirigir modelos congelados sin alterar su arquitectura interna ni incurrir en costos de entrenamiento.

2. Metodología: DeCoVec

El authors proponen DeCoVec (Decoding Space based Task Vector), un marco libre de entrenamiento y no invasivo que construye vectores de tarea directamente en el espacio de decodificación (logits de salida), aprovechando la capacidad de In-Context Learning (ICL).

El proceso se divide en tres etapas clave:

1. Construcción del Contexto:

   • Se definen dos contextos para una misma tarea $T$:
     • Contexto Zero-Shot ($C_{zs}$): Solo la instrucción de la tarea sin ejemplos.
     • Contexto Few-Shot ICL ($C_{icl}$): La instrucción más un conjunto de ejemplos (demonstraciones) recuperados del dataset.

2. Extracción del Vector de Tarea ($v_T$):

   • En lugar de calcular diferencias en pesos o activaciones ocultas, DeCoVec calcula la diferencia entre las distribuciones de logits generados por el modelo bajo ambos contextos.
   • Para un paso de decodificación $t$ con un prefijo $y_{1:t}$:
     • $z_t^{zs} = f_\theta(C_{zs}, y_{1:t})$ (Logits Zero-Shot).
     • $z_t^{icl} = f_\theta(C_{icl}^{steer}, y_{1:t})$ (Logits Few-Shot con ejemplos de entrenamiento).
   • El vector de tarea se define como:
     $$v_t^T = z_t^{icl} - z_t^{zs}$$
   • Este vector captura la esencia de la tarea (semántica de alto nivel) como la diferencia entre el comportamiento "puro" y el comportamiento "guiado por ejemplos".

3. Dirigido de la Generación (Steering):

   • Durante la inferencia en tiempo real, se utiliza un contexto de decodificación ($C_{icl}^{decode}$) para obtener los logits base ($z_t^{de}$).
   • Se inyecta el vector de tarea en el proceso de decodificación:
     $$\tilde{z}_t = z_t^{de} + \lambda \cdot v_t^T$$
   • Donde $\lambda$ es un factor de escala que controla la intensidad de la dirección de la tarea.
   • El token final se selecciona a partir de los logits modificados $\tilde{z}_t$.

3. Contribuciones Clave

• Nuevo Espacio de Operación: Es el primer método que define vectores de tarea exclusivamente en el espacio de decodificación (logits), evitando la manipulación de pesos o estados ocultos internos.
• Libre de Entrenamiento y No Invasivo: No requiere fine-tuning, actualizaciones de gradientes ni modelos auxiliares. Funciona con modelos congelados.
• Eficiencia y Flexibilidad: Es una solución "plug-and-play" que desacopla la guía de la tarea de la arquitectura interna del modelo, permitiendo su aplicación en modelos de diferentes tamaños (de 0.5B a 9B parámetros).
• Robustez: El método demuestra ser robusto frente al orden de los ejemplos de demostración y capaz de filtrar ruido en contextos extensos.

4. Resultados Experimentales

Los autores evaluaron DeCoVec en 7 LLMs (incluyendo Qwen2, Yi, Llama-2/3, Gemma-2) y 3 benchmarks (TruthfulQA, Math-500, AQUA-RAT).

• Rendimiento General: DeCoVec superó consistentemente a las líneas base de few-shot estándar.
  • Logró mejoras de precisión promedio de hasta +5.50 (ej. en Qwen2-1.5B).
  • Mostró mejoras en casi todos los escenarios evaluados, independientemente del tamaño del modelo.
• Análisis de Robustez:
  • Orden de Ejemplos: A diferencia de las líneas base que fluctúan drásticamente según el orden de los ejemplos (sesgo de recencia), DeCoVec mantuvo mejoras consistentes, demostrando que extrae semántica de tarea invariante.
  • Selección de Ejemplos: Funciona bien tanto con recuperación aleatoria como con métodos semánticos (KATE) o léxicos (BM25).
• Análisis de Errores:
  • En tareas de razonamiento matemático, DeCoVec redujo significativamente los fallos lógicos y la degeneración de la generación.
  • Observó un ligero aumento en errores de cálculo, lo que sugiere que el vector guía la "estrategia de pensamiento" (lógica) más que el control numérico fino.
• Eficiencia de Tokens: El método redujo la longitud de la generación (número de tokens de salida) en un 10-40% en comparación con el few-shot estándar, mitigando la generación repetitiva o irrelevante.

5. Significado e Impacto

DeCoVec representa un cambio de paradigma en la dirección de LLMs:

• Alternativa Económica: Ofrece una vía para adaptar modelos a tareas específicas sin el costo computacional del fine-tuning o la complejidad de la ingeniería de activaciones.
• Interpretabilidad: Proporciona una nueva lente para entender cómo la información de la tarea se codifica en las distribuciones de probabilidad de salida (logits) en lugar de solo en los pesos.
• Aplicabilidad Práctica: Al ser no invasivo y libre de entrenamiento, es ideal para entornos donde no se puede modificar el modelo base o donde los recursos de computación son limitados.

Limitaciones Futuras:
El trabajo señala que el factor de escala $\lambda$ se ajusta a nivel de dataset (no por instancia), y que la aplicabilidad en modelos de razonamiento profundo con cadenas de pensamiento largas aún requiere verificación. Además, las propiedades aritméticas de composición de estos vectores en el espacio de decodificación son menos exploradas que en el espacio de pesos.

---

Enlace al código: https://github.com/szu-tera/DeCoVec.git