Resumen Técnico: Generación Dirigida mediante Optimización Basada en Gradientes sobre Características de Consulta Escasas

1. Declaración del Problema

El despliegue de Modelos de Lenguaje Grandes (LLM) en escenarios del mundo real requiere una adhesión precisa a las restricciones definidas por el usuario en cuanto a estilo, seguridad y consistencia lógica. Si bien la ingeniería de prompts es una estrategia prevalente, a menudo resulta ineficaz para restricciones complejas, particularmente en modelos de código abierto más pequeños, ya que las instrucciones pueden diluirse dentro de contextos largos o requerir demostraciones excesivas de aprendizaje en contexto que incurren en una alta sobrecarga computacional.

Los métodos existentes de dirección en el espacio latente (ingeniería de activaciones) intervienen directamente en las activaciones internas del modelo utilizando vectores de dirección estáticos. Sin embargo, estos métodos suelen operar en espacios de activación densos (por ejemplo, la corriente residual), que sufren la "hipótesis de superposición" donde las características semánticas distintas están entrelazadas. Las intervenciones en estos espacios densos pueden sobrescribir el contexto, inducir efectos secundarios no deseados y carecer de la precisión requerida para restricciones estrictas (por ejemplo, validez lógica) o control estilístico matizado.

2. Metodología

Los autores proponen Dirección Escasa Basada en Prototipos, un marco que combina Autoencoders Escasos (SAE) con optimización basada en gradientes para dirigir la generación en tiempo de inferencia. La hipótesis central es que las activaciones de consulta de atención sirven como una superficie de control de alta fidelidad, ofreciendo una direccionalidad más nítida que las intervenciones de estado general.

2.1. Sitio de Intervención: Activaciones de Consulta

En lugar de modificar la corriente residual, el método interviene sobre las activaciones de consulta de la autoatención. Las consultas parametrizan cómo los tokens recuperan información del contexto. Los autores argumentan que modificar las consultas permite un control localizado sobre qué información se recupera sin sobrescribir directamente el estado residual acumulado, reduciendo así la distorsión global.

2.2. Representación Escasa mediante SAE

Para desentrelazar las características, el marco aplica un Autoencoder Escaso (SAE) a las activaciones de consulta en una capa de intervención específica $\ell$.

• Arquitectura: Un autoencoder ReLU de una sola capa ($Enc$y$Dec$) se entrena por cabeza de atención de consulta.
• Objetivo: El SAE se entrena para reconstruir la activación $s$ a partir de una representación latente escasa $z$, minimizando la pérdida de reconstrucción, una penalización de escasez L1 ($\lambda \|z\|_1$) y un término de decaimiento de sesgo.
• Resultado: Esto descompone las activaciones de consulta densas en un conjunto escaso de características interpretables, factorizando las direcciones de control.

2.3. Optimización Basada en Gradientes con Prototipos

En lugar de agregar un vector de dirección estático, el método trata el control como un problema de optimización.

1. Definición de Prototipo: Para cada clase de atributo objetivo $k$ (por ejemplo, "Camino Seguro", "Evaluar" en la Taxonomía de Bloom), se calcula un centro de prototipo $c_k$ como la media de las representaciones latentes escasas de un conjunto de soporte de ejemplos de entrenamiento.
2. Objetivo de Optimización: Dada una generación inicial, la representación latente escasa $z$ se optimiza mediante ascenso de gradiente para maximizar la probabilidad del atributo objetivo $k_T$. La probabilidad se define mediante un softmax sobre las distancias negativas a todos los prototipos de clase:
   $$P_\phi(a = k_T | z) = \frac{\exp(-d_{k_T})}{\sum_{j=1}^K \exp(-d_j)}$$
   donde $d_k = \|z - c_k\|_2^2$.
3. Procedimiento: El latente $z$ se actualiza iterativamente ($z^{(t+1)} = z^{(t)} + \eta \nabla_z \log P_\phi$) hasta la convergencia. El latente optimizado se decodifica luego de nuevo al espacio de activaciones e inyecta en el modelo para continuar la generación.

3. Contribuciones Clave

1. Optimización Escasa de Consulta Basada en Prototipos: La formulación del control en tiempo de inferencia como optimización basada en gradientes sobre latentes de consulta escasos, utilizando un objetivo de distribución de prototipos. Esto permite una dirección adaptativa mientras se mantienen fijos los pesos del modelo base.
2. Fidelidad del Control a Nivel de Consulta: Evidencia cuantitativa que demuestra que las activaciones de consulta de atención proporcionan un sitio de intervención más local y de menor distorsión que la corriente residual. Las intervenciones a nivel de consulta exhiben una desviación de activación entre capas acotada y una menor divergencia Jensen–Shannon (JSD) del siguiente token a intensidades de dirección equivalentes.
3. Datos de Evaluación Orientados a la Dirección: La construcción de un nuevo conjunto de datos para la dirección de estilo cognitivo basado en la Taxonomía de Bloom y un subconjunto filtrado de Textualized Gridworld (TGW) diseñado para caminos seguros, cortos y largos mutuamente distintos para permitir una evaluación basada en reglas.
4. Validación Experimental: Evaluación exhaustiva en restricciones de planificación estrictas (TGW), control de estilo cognitivo suave (Taxonomía de Bloom) y dirección de veracidad (TruthfulQA).

4. Resultados

4.1. Restricciones Estrictas (Textualized Gridworld)

En el entorno TGW, donde los caminos deben satisfacer restricciones estrictas de validez y atributo (más corto, más seguro, más largo):

• Rendimiento: El método propuesto (SAE-OPT) logró las tasas de éxito más altas o empatadas en tres modelos de pesos abiertos (Qwen, Phi, LLaMA) en comparación con líneas base que incluyen Aprendizaje en Contexto (ICL), Adición de Activación Contrastiva (CAA) y dirección estática de SAE.
• Validez: Crucialmente, el método mantuvo bajas tasas de violación lógica. A diferencia de las intervenciones densas en la corriente residual que a menudo rompían la validez del camino, la dirección a nivel de consulta reorientó los caminos dentro de la variedad válida.
• Comparación: La optimización de prototipos basada en gradientes superó a los vectores de dirección estáticos, particularmente en objetivos difíciles como caminos "Seguros" y "Largos".

4.2. Control Semántico Suave (Taxonomía de Bloom)

En un dominio de retroalimentación educativa, el método dirigió la complejidad cognitiva de la retroalimentación (Recordar, Comprender, Aplicar, Analizar, Evaluar, Crear):

• Precisión: SAE-OPT logró las tasas de acierto promedio más altas en la clasificación del nivel cognitivo previsto, con ganancias significativas en objetivos discriminatorios como "Recordar" y "Crear".
• Relevancia: El método mantuvo una alta relevancia para el código de entrada, mientras que los métodos de corriente residual mostraron menor relevancia, lo que sugiere que las intervenciones de consulta redirigen el estilo sin desplazar la fundamentación.
• Evaluación AxBench: El método logró las puntuaciones medias armónicas más altas en 5 de los 6 niveles de Bloom, demostrando una mejor adherencia al concepto sin sacrificar el seguimiento de instrucciones ni la fluidez.

4.3. Veracidad y Costo Distribucional (TruthfulQA)

• Precisión vs. Distorsión: En TruthfulQA, el método basado en gradientes (Dense-opt) logró puntuaciones más altas de veracidad/informatividad (%T×I) mientras reducía la JSD media (costo distribucional) en más de un orden de magnitud en comparación con las líneas base de adición de vectores estáticos.
• Eje de Optimización: Esto confirma que las actualizaciones basadas en gradientes incurren en una distorsión distribucional menor que la adición de vectores estáticos, incluso cuando se aplican al mismo sitio de intervención.

4.4. Beneficios de la Escasez

Comparando la regularización L1 (escasa) vs. L2 (densa) en el autoencoder:

• Desentrelazamiento: La regularización L1 redujo significativamente la "deriva no objetivo" (movimiento colateral en la geometría de prototipos no objetivo). L1 proporcionó una interfaz de dirección más limpia, logrando la convergencia al objetivo con menos interferencia en otros atributos.

5. Significado y Afirmaciones

El artículo afirma que las representaciones de consulta escasas proporcionan el desentrelazamiento necesario para un control unificado e interpretable tanto sobre la planificación lógica como sobre el matiz estilístico.

• Mecanismo: Al dirigirse a las consultas de atención, el método evita los efectos de "sobrescritura" de las intervenciones en la corriente residual, preservando la validez estructural en tareas de restricciones estrictas.
• Optimización: Al utilizar la optimización basada en gradientes sobre prototipos escasos en lugar de vectores estáticos, el método logra una mayor fidelidad de control con un menor costo distribucional.
• Generalizabilidad: Se demuestra que el enfoque es efectivo en diversos dominios, desde la planificación rígida en mundos de cuadrícula hasta los estilos cognitivos matizados de la retroalimentación educativa, y se generaliza a tamaños de cuadrícula más grandes y diferentes arquitecturas de modelos.

Los autores posicionan este trabajo como un mecanismo principista para la generación controlable que va más allá de la ingeniería de activaciones estáticas hacia una intervención adaptativa, escasa y localizada.