Resumen Técnico: Faithful-Patchscopes

1. Planteamiento del Problema

Los Grandes Modelos de Lenguaje (LLMs) han demostrado la capacidad de interpretar sus propias representaciones ocultas internas a través del marco de trabajo Patchscopes (Ghandeharioun et al., 2024). Este marco decodifica los estados ocultos en explicaciones legibles para humanos mediante el "parcheo" (patching) de una representación de origen en un prompt de destino. Sin embargo, este artículo identifica una limitación crítica: la infidelidad sistemática en estas explicaciones.

Los autores observan que los LLMs a menudo dependen de patrones lingüísticos inherentes (prioris empíricos) en lugar de la información contextual codificada en las representaciones ocultas durante el proceso de decodificación. Por ejemplo, si una representación oculta codifica el atributo "púrpura" para "brócoli" (contrario a la asociación común del brócoli con el "verde"), el modelo frecuentemente ignora el "púrpura" codificado y genera "verde" en su explicación. Este comportamiento es impulsado por el sesgo del modelo inducido por patrones lingüísticos desequilibrados en los datos de entrenamiento, donde las asociaciones de alta frecuencia sobrepasan a los atributos contextuales de baja frecuencia.

El artículo argumenta que los métodos de mitigación de sesgos existentes no son adecuados para Patchscopes:

• El Ajuste Fino Supervisado (SFT) requiere conjuntos de datos anotados costosos y altera globalmente los parámetros del modelo, cambiando así las representaciones ocultas originales que Patchscopes pretende explicar.
• Los métodos basados en prompts son inestables y altamente sensibles al diseño del prompt.
• Las intervenciones de vectores de dirección (steering vectors) asumen que el sesgo existe en direcciones bien definidas y linealmente separables, lo cual es difícil de estimar de manera fiable.

2. Metodología

2.1. Conjunto de Datos y Análisis

Para estudiar este problema sistemáticamente, los autores construyeron un conjunto de datos que cubre cuatro tareas: Color, Género, Cultura y Edad.

• Subconjunto Sesgado: Contiene pares de sustantivo-atributo donde el modelo exhibe una fuerte preferencia por un atributo primario ($a_{pri}$) basado en la frecuencia lingüística (e.g., brócoli $\rightarrow$ verde), mientras que un atributo secundario ($a_{sec}$) es proporcionado contextualmente (e.g., brócoli $\rightarrow$ púrpura).
• Subconjunto No Sesgado: Contiene pares donde no existe una fuerte preferencia lingüística.

Hallazgos:

• Vínculo Causal: El análisis de regresión logística confirma que los patrones lingüísticos desequilibrados (brechas de frecuencia entre atributos) son un determinante significativo del sesgo del modelo. Un aumento de una desviación estándar en la diferencia de frecuencia aumenta las probabilidades de sesgo por un factor de ~9.3.
• Caída de la Fidelidad: En el subconjunto sesgado, la fidelidad de los vanilla Patchscopes (medida por la Tasa de Exhibición o Show Rate, la proporción de generación correcta de atributos) disminuye en un promedio del 18.84% en comparación con el subconjunto no sesgado.

2.2. Localización de Capas Sensibles al Sesgo

Los autores proponen un método para identificar las capas específicas donde el sesgo se codifica y comienza a influir en el cómputo descendente (downstream). Introducen dos métricas:

1. Diferencia de Logits (LD): Mide la diferencia en los logits entre el atributo alineado con el contexto y el atributo sesgado en cada capa utilizando un enfoque de logit-lens.
2. Alineación de Similitud de Gradiente (GSA): Mide la alineación entre el gradiente de salida y la dirección del atributo para determinar si el modelo depende de información sesgada o contextual.

Estas métricas se combinan en una puntuación de selección de capa ($l^*$) para identificar la capa óptima para la intervención. Los autores encontraron que el sesgo no está distribuido uniformemente, sino que emerge en las capas intermedias.

2.3. Solución Propuesta: BALOR

El artículo presenta Bias Alignment through Logit Recalibration (BALOR), una intervención en el tiempo de decodificación que mitiga el sesgo sin modificar los parámetros del modelo.

Mecanismo Central:
BALOR utiliza un par de prompts contrastivos:

• Prompt Objetivo ($T$): Contiene la representación oculta parcheada (que codifica el atributo contextual).
• Prompt Contrastivo ($T^*$): Reemplaza el marcador de posición con el token original, el cual contiene ninguna información contextual, reflejando así únicamente el sesio/prioris empíricos del modelo.

Recalibración de Logits:
El método resta los logits escalados del prompt contrastivo de los logits del prompt objetivo antes de aplicar la función softmax:
$$p_{balor}(y | T) = \sigma \left[ (1 + \alpha) l_\theta(y | T) - \alpha l_\theta(y | T^*) \right]$$
Donde:

• $l_\theta(y | T)$ y $l_\theta(y | T^*)$ son los logits pre-softmax.
• $\alpha$ es un hiperparámetro que controla el nivel de amplificación.

Garantía Teórica:
El Teorema 4.1 demuestra que en el espacio de log-odds, si un token cuenta con mayor apoyo de la evidencia parcheada que del prior contrastivo, BALOR aumenta monótonamente su preferencia relativa a medida que $\alpha$ aumenta. Esto aísla efectivamente el componente de sesgo y amplifica la información contextual.

Modos:

• Compartido (Modo S): Se utiliza la distribución recalibrada para muestrear tokens para ambos prompts, manteniendo las secuencias sincronizadas.
• Dividido (Modo D): La recalibración se aplica solo al prompt objetivo; el prompt contrastivo decodifica con los logits originales.

3. Contribuciones Clave

1. Conjunto de Datos y Análisis: Diseñó un conjunto de datos para evaluar Patchscopes bajo condiciones de sesgo, demostrando que el sesgo del modelo limita fundamentalmente la fidelidad de las explicaciones de las representaciones ocultas (causando una disminución del rendimiento del 11.84% al 28.47%).
2. BALOR: Introdujo un método de decodificación de recalibración de logits que mitiga el sesgo en la etapa de inferencia al contrastar las representaciones parcheadas contra los prioris empíricos.
3. Validación Empírica: Realizó experimentos extensos en cuatro LLMs modernos (Llama2-7b, Llama3.2-1b, Llama3-8b, Qwen3-4b), mostrando que BALOR supera consistentemente a los modelos de referencia (baselines).

4. Resultados Experimentales

Los experimentos se realizaron bajo configuraciones de zero-shot y few-shot en las cuatro tareas.

• Rendimiento: BALOR (específicamente el Modo S) superó consistentemente a todos los baselines, incluyendo los vanilla Patchscopes, los métodos de guía por prompt (Closed-Book, Internal-Evidence, Data-Bound), SFT y FairSteer.
• Mejora: BALOR logró hasta un 33% de mejora relativa en el rendimiento en la Tasa de Exhibición (SR) en comparación con el baseline original.
• Estabilidad: El Modo S demostró una alta estabilidad a través de diferentes hiperparámetros ($\alpha$) y temperaturas de muestreo. El Modo D mostró más variabilidad e inestabilidad ocasional debido a la divergencia de secuencia entre los prompts.
• Comparación:
  • Los baselines basados en prompts fueron inestables y a menudo tuvieron un rendimiento inferior al vanilla baseline.
  • Los métodos SFT degradaron significativamente cuando los datos de ajuste fino entraban en conflicto con los datos de evaluación.
  • FairSteer funcionó deficientemente cuando la dirección de mitigación de sesgo era inexacta.

5. Significado y Afirmaciones

El artículo afirma que los patrones lingüísticos desequilibrados inducen un sesgo en el modelo que distorsiona la fidelidad de las explicaciones de las representaciones ocultas. Al proponer BALOR, los autores proporcionan un mecanismo para recuperar la verdadera información codificada en las representaciones ocultas sin alterar los parámetros internos ni las representaciones del modelo.

Los autores enfatizan que su trabajo mejora la fiabilidad de la interpretabilidad de los LLMs. Sostienen que, si bien su método mejora la fidelidad, las explicaciones resultantes no deben tratarse como evidencia definitiva del razonamiento del modelo, sino que deben utilizarse junto con técnicas de evaluación complementarias. El trabajo tiene como objetivo ayudar a los investigadores a comprender mejor cómo los LLM codifican y utilizan la información contextual, lo cual es crucial para el despliegue confiable de estos modelos. Los autores no prevén consecuencias sociales negativas derivadas directamente de este trabajo.