Prism-$\Delta$: Differential Subspace Steering for Prompt Highlighting in Large Language Models

Resumen Técnico: PRISM-∆

1. El Problema: Destacar el Prompt (Prompt Highlighting)

Los Modelos de Lenguaje Grandes (LLMs) a menudo necesitan priorizar partes específicas de su entrada, especialmente cuando hay información conflictiva o en tareas de recuperación de contexto largo (donde la respuesta puede estar "perdida en medio" de muchos párrafos).

• Objetivo: Amplificar la atención del modelo hacia un subconjunto marcado de tokens (el "prompt destacado") para que la generación sea más precisa y fiel a la intención del usuario.
• Limitaciones de los métodos existentes:
  • Métodos anteriores (como PASTA, SPA, SEKA) operan exclusivamente en el canal de enrutamiento (representaciones Key), que controla dónde mira el modelo.
  • Ignoran el canal de contenido (representaciones Value), que determina qué información se transmite.
  • Muchos métodos no son compatibles con FlashAttention (requieren múltiples pasadas o modifican la longitud del contexto) o utilizan umbrales binarios rígidos que descartan cabezas de atención "débiles pero útiles".

2. Metodología: PRISM-∆

El authors proponen PRISM-∆ (Método de Dirección Informada por Relevancia Basado en Proyección), un marco que realiza un aprendizaje de subespacio discriminativo y un ponderado adaptativo de cabezas para ambos canales (Key y Value).

A. Descomposición de la Covarianza Cruzada Diferencial
En lugar de analizar condiciones positivas y negativas por separado, el método utiliza datos contrastivos (tripletas sintéticas: contexto neutro, contexto + pregunta relevante, contexto + pregunta irrelevante).

• Define la covarianza cruzada diferencial: $\Omega_\Delta = \Omega_+ - \Omega_-$.
• Proposición Clave: La descomposición SVD de $\Omega_\Delta$ extrae direcciones que maximizan la energía discriminativa entre condiciones relevantes e irrelevantes, mientras elimina automáticamente las direcciones compartidas (ruido estructural común a ambos).
• Esto evita la redundancia estructural que afecta a los métodos que realizan SVD independiente.

B. Ponderación Adaptativa de Cabezas (Softplus)
Reconociendo que no todas las cabezas de atención son igualmente sensibles al resaltado:

• Calcula una medida de discriminabilidad ($D_{\ell,h}$) para cada cabeza basada en la diferencia de normas entre representaciones positivas y negativas.
• Mapea esta medida a un peso continuo utilizando la función Softplus: $w = \text{softplus}(D - \delta_{min})$.
• Ventaja: Permite que las cabezas "débiles pero útiles" contribuyan con una fuerza reducida, en lugar de ser apagadas completamente (como ocurre con los umbrales binarios de métodos anteriores).

C. Dirección Dual-Canal (Key y Value)
El marco se aplica tanto a las representaciones Key (enrutamiento) como Value (contenido):

• Key: Dirige la atención hacia los tokens destacados.
• Value: Mejora la transmisión de la información contenida en esos tokens.
• Fórmula de Edición: En la inferencia, para cada token destacado $j$, se editan ambos vectores:
  $$k'_j = k_j + g_K \cdot w^K \cdot P_K \cdot k_j$$
  $$v'_j = v_j + g_V \cdot w^V \cdot P_V \cdot v_j$$
  Donde $P$ es la matriz de proyección y $w$ el peso de la cabeza.

3. Contribuciones Clave

1. Descomposición Diferencial: Introducción de la descomposición de covarianza cruzada diferencial para extraer direcciones puramente discriminativas, eliminando el ruido de patrones estructurales compartidos.
2. Ponderación Continua: Uso de Softplus para asignar pesos continuos a las cabezas de atención, permitiendo una dirección adaptativa que preserva señales débiles pero valiosas.
3. Exploración del Canal Value: Demostración de que el canal Value contiene señales discriminativas complementarias a las de Key. La dirección conjunta de ambos canales mejora la consistencia de la generación y reduce la degradación de la fluidez.
4. Eficiencia y Compatibilidad: El método es libre de gradientes, compatible con FlashAttention y añade una sobrecarga de memoria y latencia insignificante.

4. Resultados Experimentales

El método se evaluó en 4 benchmarks (BiasBios, CounterFact, Pronoun Change, y recuperación de contexto largo "Lost-in-the-Middle") y 5 modelos (Qwen3 y Gemma3 de diferentes escalas).

• Rendimiento General: PRISM-∆ iguala o supera al mejor método existente (SEKA) en 19 de 20 configuraciones.
  • Mejoras relativas de hasta +10.6% en tareas de cambio de pronombres.
  • Mejoras de hasta +4.8% en recuperación de contexto largo (30 párrafos).
• Calidad de Generación:
  • La dirección dual (Key + Value) reduce el costo de fluidez en un 50% en comparación con los métodos que solo editan Key.
  • Mantiene una alta consistencia semántica.
• Eficiencia:
  • Latencia añadida: ~0.30 segundos (vs. +5.32s de SPA o +1.03s de PASTA).
  • Memoria añadida: Negligible (+0.02 GB).
  • Compatible con FlashAttention.

5. Significado e Impacto

• Paradigma de Dirección: PRISM-∆ demuestra que la manipulación de LLMs no debe limitarse al canal de enrutamiento (Key). El canal de contenido (Value) es crucial para mantener la calidad del texto mientras se altera la atención.
• Robustez: La eliminación de direcciones compartidas y el uso de ponderación suave hacen que el método sea más robusto a la selección de hiperparámetros y a la variabilidad de los datos de entrenamiento.
• Aplicabilidad Práctica: Al ser compatible con FlashAttention y tener una sobrecarga mínima, PRISM-∆ es viable para despliegues en producción, ofreciendo una solución eficiente para problemas de alucinación, sesgo y recuperación de información en contextos largos.

En conclusión, PRISM-∆ representa un avance significativo en la ingeniería de inferencia, logrando una mayor precisión y fidelidad en la generación de LLMs mediante una manipulación más inteligente y completa de los mecanismos de atención interna.