Resumen Técnico: Localización y Control de la Personalización Implícita en Modelos de Lenguaje Extensos

Planteamiento del Problema

Los Modelos de Lenguaje Extensos (LLM) exhiben una personalización implícita, donde desplazan sus salidas (por ejemplo, recomendaciones de películas) en respuesta a claves demográficas integradas en el diálogo del usuario, incluso cuando el usuario nunca declara explícitamente su identidad. Aunque trabajos previos han documentado estos cambios de comportamiento —como rasgos dialectales que provocan sentencias criminales más severas o la reducción de recomendaciones hacia estereotipos mediante la historia implícita—, la conexión entre estos cambios de comportamiento y las activaciones internas del modelo sigue siendo incierta.

Los estudios existentes suelen depender de auditorías de comportamiento o sondas lineales que confirman que la información del atributo es decodificable, pero no logran establecer si estos atributos impulsan causalmente la salida. Además, las interacciones del mundo real a menudo involucran múltiples claves de identidad superpuestas (por ejemplo, raza y edad simultáneamente), lo que plantea la pregunta de si las representaciones internas se descomponen linealmente y si los cambios de comportamiento simplemente se suman. Este artículo busca cerrar la brección entre el comportamiento de personalización implícita y la mecánica interna del modelo, preguntando específicamente:

1. ¿Existe una señal interna que rastree la magnitud de la personalización?
2. ¿Cómo se combinan las representaciones internas y las salidas cuando coocurren múltiples claves?
3. ¿Se pueden suprimir causalmente influencias demográficas específicas sin degradar el rendimiento general del modelo?

Metodología

Conjunto de Datos y Diseño Experimental

Los autores emplean un marco de comparación de pares emparejados utilizando $n=50$ escenarios a través de cinco LLMs (Llama-3-8B, Mistral-7B, Qwen3-8B, Qwen3-14B y Phi-4).

• Claves (Cues): Los diálogos son generados usando GPT-4o, incorporando claves demográficas implícitas extraídas de una taxonomía fundamentada en la literatura (referencias culturales, pasatiempos, jerga) para tres dimensiones: Raza (Negra, Asiática, Blanca), Género (Masculino, Femenino) y Edad (Niño, Adolescente, Adulto, Adulto Mayor).
• Condiciones: Para cada escenario, los autores generan:
  • Contextos con claves (Cued contexts): Que contienen claves de identidad implícitas.
  • Contextos neutrales: Utilizando rellenos de identidad neutros con un andamiaje tópico idéntico.
  • Contextos explícitos: Declarando las demografías directamente (para calibración).
• Tarea: El turno final solicita al modelo que recomiende cinco películas.
• Interseccionalidad: Los experimentos combinan dos dimensiones (por ejemplo, Raza $\times$ Género) con controles de dosis emparejados para aislar los efectos de interacción.

Métricas de Comportamiento

Dos métricas complementarias cuantifican el cambio:

1. Distancia de Incrustación Semántica en descripciones (SED-desc): Mide la magnitud del cambio semántico entre las recomendaciones con clave y las neutrales utilizando la similitud de coseno de las descripciones de la trama.
2. Ratio de Alineación de Contenido (CAR): Mide la dirección del cambio calculando la fracción de elementos recomendados etiquetados como asociados con la identidad objetivo utilizando una taxonomía de estereotipos preespecificada.

Cantidad Representacional Interna

La contribución técnica central es la definición del contraste de activación inducido por la clave bruto ($\Delta A$):
$$\Delta A^{(i)}_L = A_L(C^{(i)}_{cue}, x) - A_L(C^{(i)}_{neutral}, x)$$
Esto representa la diferencia en la activación del flujo residual en el último token de consulta entre contextos emparejados con clave y neutrales en capas específicas $L$.

• Magnitud Normalizada ($s_{\Delta A}$): Los autores computan la magnitud normalizada de este contraste para probar su correlación con los cambios de comportamiento.
• Selección de Capas ($L^\star$): Las capas específicas que median el cambio de comportamiento se identifican mediante parcheado de activación (activation patching).

Estrategia de Intervención

Para controlar la personalización, los autores aplican una ablación direccional durante la generación. Computan un vector de dirección promedio de la muestra ($\hat{v}_{dim}$), lo ortogonalizan contra otras dimensiones y lo proyectan fuera del flujo residual utilizando un pre-hook:
$$h' = (I - \alpha \hat{v}_{dim}\hat{v}_{dim}^\top)h$$
donde $\alpha$ controla la fuerza de la intervención. Esto se compara contra el prompting de "ignorar demografía" y simulacros de dirección aleatoria.

Resultados Clave

1. La Señal Interna Rastrea el Cambio de Comportamiento

La magnitud normalizada del contraste de activación ($s_{\Delta A}$) en las capas objetivo ($L^\star$) se correlaciona fuertemente con el cambio de comportamiento por muestra.

• Correlación: Las correlaciones de Pearson alcanzan hasta $r = 0.87$ (por ejemplo, Llama-3-8B con claves asiáticas en SED-desc).
• Escalamiento: La fuerza del rastreo interno escala con la magnitud del cambio de comportamiento. En condiciones donde no ocurre un cambio de comportamiento (por ejemplo, condiciones con clave Blanca), la correlación interna cae significamente.
• Significancia: Esto establece una cadena que corre estrictamente desde la clave hacia la activación y luego al comportamiento, donde la magnitud de la señal interna sirve como una señal de rastreo confiable para la extensión de la personalización, en lugar de actuar como el motor causal en sí mismo.

2. Composición Lineal de Señales Internas vs. Comportamiento Subaditivo

Cuando coocurren múltiples claves:

• Representación Interna: El vector de contraste de clave mixta ($\Delta A_{AB}$) puede reconstruirse de manera confiable como una combinación lineal de los vectores de clave única ($\alpha v_A + \beta v_B$). El ajuste de reconstrucción promedio ($\rho$) oscila entre 0.576 y 0.704, superando significativamente las explicaciones de una sola clave. Esto indica que el modelo integra activamente múltiples direcciones de identidad internamente.
• Salida de Comportamiento: El cambio de comportamiento real es estrictamente subaditivo. Cuando ambas claves están presentes, el cambio de personalización resultante es un 28–38% menor que la suma de los cambios individuales de cada clave. La salida no refleja simplemente la adición lineal interna; el modelo comprime el efecto de una manera específica del modelo.

3. Control Causal mediante Ablación Direccional

Proyectar fuera la dirección interna asociada con una clave específica suprime con éxito su influencia:

• Efectividad: La ablación interna supera al prompting explícito de "ignorar demografía". En Qwen3-8B, la ablación fue hasta 9.2$\times$ más efectiva que el prompting. En algunos casos, el prompting tuvo el efecto contrario, aumentando los estereotipos.
• Selectividad: La capacidad de eliminar la influencia de una dimensión mientras se preserva otra es específica del modelo y del atributo.
  • Mistral-7B: Eliminar la dirección de género redujo el contenido etiquetado como género en 0.169, dejando el contenido etiquetado como raza prácticamente sin cambios (+0.004).
  • Qwen3-8B: La selectividad fue menor; eliminar la raza a menudo también reducía el contenido etiquetado como edad.
• Preservación de Capacidades: Las capacidades de razonamiento general (medidas por MMLU) se mantuvieron robustas, cayendo en un máximo de 2.8 puntos incluso con la máxima fuerza de intervención ($\alpha=5$).

Significancia y Reivindicaciones

El artículo afirma establecer la "conexión faltante" entre el comportamiento de personalización implícita y la representación interna del modelo. Sus principales contribuciones son:

1. Identificación de una Señal de Rastreo: La magnitud del contraste de activación inducido por la clave en capas específicas sirve como una señal de rastreo medible para la intensidad de la personalización, correlacionándose fuertemente con los cambios de comportamiento sin pretender ser el motor causal en sí mismo.
2. Desacoplamiento de Mecanismo y Comportamiento: El estudio revela una disociación donde las representaciones internas se combinan linealmente, pero el comportamiento de salida final es no lineal y subaditivo.
3. Intervención Dirigida: Demuestra que la personalización implícita puede controlarse causalmente mediante la ablación de direcciones internas específicas. Este método es a menudo más efectivo que el prompting y preserva las capacidades generales del modelo, ofreciendo un mecanismo potencial para mitigar los daños representacionales en los LLM sin requerir reentrenamiento.

Los autores mantienen una postura modesta, señalando que sus hallazgos son específicos para los modelos y dominios probados (principalmente recomendaciones de películas) y que la selectividad de la intervención varía según el modelo. Enfatizan que este trabajo proporciona una herramienta de diagnóstico y un mecanismo causal de supresión, más que una solución de equidad universal lista para el despliegue.