UGID: Unified Graph Isomorphism for Debiasing Large Language Models

1. El Problema

Los Grandes Modelos de Lenguaje (LLMs) reflejan y amplifican sesgos sociales latentes en sus datos de entrenamiento. Las investigaciones actuales indican que estos sesgos no son meros artefactos superficiales, sino que están profundamente codificados en las representaciones internas y los procesos computacionales del modelo.

Existen dos limitaciones principales en los métodos de desviación (debiasing) existentes:

• Métodos externos: Ajustan datos o comportamientos de salida, pero no modifican las representaciones internas sesgadas, lo que los hace vulnerables a cambios en el prompt o escenarios fuera de distribución (OOD).
• Métodos internos parciales: Se centran en componentes aislados (como cabezas de atención o vectores FFN). Sin embargo, el artículo demuestra que la mitigación del sesgo es dependiente de la escala: restringir solo la atención funciona en modelos pequeños (ej. GPT-2), pero falla en modelos a gran escala (ej. LLaMA-3-8B) porque el sesgo "migra" hacia las redes de alimentación frontal (FFNs).

2. Metodología: UGID

El authors proponen UGID (Unified Graph Isomorphism for Debiasing), un marco unificado que reformula el problema de desviación como un desafío de isomorfismo de grafos computacionales.

El modelo Transformer se modela como un grafo computacional dinámico $G = (V, E)$, donde:

• Nodos ($V$): Representan los estados ocultos (hidden states) de los tokens.
• Aristas ($E$): Representan los mecanismos de atención (rutas de enrutamiento).

El objetivo es forzar la invarianza estructural del grafo entre entradas contrapuestas (ej. "él" vs. "ella"), permitiendo diferencias solo en los atributos sensibles, pero manteniendo la topología de razonamiento idéntica. Esto se logra mediante cuatro diseños clave:

Diseño I: Alineación de Rutas (Aristas)

Para evitar que el sesgo se fije en las rutas de atención, se utiliza un operador Laplaciano combinado para alinear las características espectrales de los grafos de atención.

• Se introduce una máscara de "Sumidero de Atención" (Attention Sink Mask) para filtrar el token inicial, que distorsiona la distribución de probabilidad.
• Se aplica un peso de saliencia adaptativo para centrarse en los "hubs" de sesgo.
• Esto asegura que la topología de razonamiento sea invariante ante perturbaciones de género.

Diseño II: Prevención de Migración de Sesgo (Nodos)

Para evitar que el sesgo se almacene en los estados ocultos (específicamente en las FFNs), se impone una isomorfismo de nodos.

• Se restringen las representaciones ocultas ($H_l$) para que sean consistentes entre contextos contrapuestos.
• Esto impide que el sesgo se "compense" o almacene en los vectores de valor de las FFNs.

Diseño III: Preservación de Utilidad

Para evitar el olvido catastrófico y mantener la capacidad general del modelo, se introduce un objetivo de estabilidad compuesto:

• Guía en Espacio Logarítmico: Penaliza la divergencia en log-probabilidades para atributos sensibles.
• Estabilidad Top-K: Ancla los patrones de atención del modelo estudiante a un modelo maestro congelado para preservar la corrección sintáctica.
• Preservación Semántica: Utiliza una divergencia KL enmascarada simétrica para mantener el conocimiento general mientras permite cambios solo en tokens sensibles.

Diseño IV: Manejo de Sesgo Definicional

Para evitar la "borradura de conceptos" (ej. que el modelo no pueda distinguir entre "Rey" y "Reina"), se emplea una Estrategia de Anclaje Selectivo.

• Se entrena con un conjunto de datos mixto: pares estereotipados (para desviación) y pares de anclaje definicional (para seguridad).
• La función de pérdida se adapta dinámicamente: aplica restricciones estrictas de preservación semántica en los datos de anclaje, mientras aplica la alineación estructural en los datos de estereotipos.

3. Contribuciones Clave

1. Primer Marco de Isomorfismo Unificado: UGID es el primer enfoque que aborda el desviación mediante la alineación estructural global (nodos y aristas) en lugar de componentes aislados.
2. Interpretabilidad Mecanística: Proporciona evidencia física de la eliminación del sesgo a nivel topológico utilizando diagnósticos espectrales, lentes de logit (Logit Lens) y parches de activación (Activation Patching).
3. Rendimiento Superior: Demuestra un equilibrio óptimo entre la reducción de sesgo y la preservación de la utilidad del modelo, superando a los métodos actuales (SOTA) en diversos tamaños de modelos y escenarios de datos.

4. Resultados Experimentales

Los experimentos se realizaron en modelos como LLaMA-3-8B, Qwen-2 y Gemma-2.

• Efectividad en Sesgo: UGID reduce las puntuaciones de sesgo a niveles casi neutrales (aprox. $1.06\times$) en escenarios de distribución (ID) y muestra una robustez superior en escenarios fuera de distribución (OOD) en comparación con métodos de inferencia como Self-Debias.
• Estabilidad Estructural: Reduce drásticamente la divergencia espectral ($\Delta Spec$) y la deriva de estados ocultos ($\Delta Hidden$), evitando el "colapso de estados ocultos" observado en métodos como CDA.
• Preservación de Utilidad: Mantiene el 100% de precisión en anclajes definicionales (seguridad) y no degrada significativamente la perplejidad (fluidez lingüística), a diferencia de otros métodos que sacrifican capacidad general.
• Eficiencia: No añade sobrecarga computacional durante la inferencia y reduce los requisitos de memoria durante el entrenamiento gracias a un mecanismo de plegado de pesos.

5. Significado e Impacto

El trabajo de UGID es significativo porque cambia el paradigma de la mitigación de sesgos:

• Enfoque Estructural: En lugar de tratar el sesgo como un problema de datos o de salida, lo aborda como un problema de alineación topológica dentro del grafo computacional del modelo.
• Escalabilidad: Resuelve el problema de la migración de sesgo en modelos grandes, demostrando que la restricción conjunta de atención y FFNs es necesaria para la invarianza estructural.
• Seguridad y Equidad: Ofrece una solución técnica para desacoplar estereotipos dañinos de las capacidades de razonamiento del modelo sin destruir su conocimiento base, lo cual es crucial para aplicaciones de IA de alto riesgo y toma de decisiones automatizada.

En resumen, UGID proporciona una herramienta robusta y escalable para crear LLMs más seguros y equitativos mediante la intervención directa en la arquitectura interna del modelo, garantizando que la lógica de razonamiento permanezca invariante ante atributos sensibles.