The Neutral Mask: How RLHF Provides Shallow Alignment while Leaving Partisan Structure Intact in a Large Language Model

Resumen Técnico: La Máscara Neutral

Planteamiento del Problema
La ambición principal del Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF) es alinear los modelos de lenguaje de gran tamaño (LLM) con los valores humanos, haciéndolos seguros y útiles. Sin embargo, el mecanismo mediante el cual el RLHF codifica estos valores permanece opaco. Una creciente evidencia sugiere que el entrenamiento de alineación a menudo resulta en una "conformidad funcional" en lugar de una alineación estructural profunda, lo que potencialmente deja intactas las estructuras subyacentes cargadas de valores, simplemente suprimiendo su expresión. Este artículo investiga este fenómeno a través del lente de la orientación política partidista, abordando la pregunta de si el RLHF elimina los sesgos partidistas de las representaciones internas de un modelo o si simplemente los desconecta del flujo de generación de salida.

Metodología
El estudio emplea un estudio de caso mecanicista comparando las representaciones internas del modelo Llama 3.1 8B en dos estados: el Modelo Base (preentrenado en corpus de texto masivos) y el Modelo Instruct (ajustado mediante RLHF). La metodología involucra tres componentes técnicos primarios:

1. Sondeo Partidista: Utilizando un sondeo lineal entrenado en 190,491 tweets del Congreso, los autores identifican una dirección específica ($\hat{\omega}$) en el espacio de activación del estado oculto de la Capa 18 donde la identidad partidista es linealmente separable. Este sondeo se aplica tanto al Modelo Base como al Modelo Instruct a través de 84 prompts diversos (políticos, históricos, científicos y no políticos) para medir las puntuaciones partidistas.
2. Descomposición por Autoencoder Disperso (SAE): Se entrena un autoencoder disperso TopK en los estados ocultos de la Capa 18 de los tweets del Congreso para descomponer el flujo residual de 4,096 dimensiones en 32,768 características latentes. Esto permite la identificación de características interpretables y monosemánticas, aislando específicamente aquellas que codifican contenido de políticas frente a aquellas de estilo de discurso.
3. Direccionamiento de Características (Feature-Level Steering): Para establecer la causalidad, los autores realizan experimentos de direccionamiento de activación. Extraen columnas de decodificadores del SAE correspondientes a características específicas (relacionadas con políticas y relacionadas con el registro) y añaden perturbaciones ($\alpha \cdot \hat{d}_i$) a los estados ocultos durante la generación. Esto pone a prueba si dirigir la representación interna a lo largo de direcciones partidistas resulta en cambios correspondientes en el texto generado para ambos modelos.

Resultados Clave

• Compresión, No Erradicación: El RLHF comprime drásticamente la varianza de la señal partidista. Mientras que las puntuaciones partidistas del Modelo Base abarcan un rango amplio (de -0.5 a 1.253), las puntuaciones del Modelo Instruct se comprimen en una banda estrecha centrada cerca de 0.169. A pesar de este desplazamiento hacia un desfase positivo (con tendencia republicana), el texto generado por el Modelo Instruct permanece consistentemente neutral y de múltiples perspectivas.
• Desaparición de las Características de Política: La descomposición SAE revela que cinco características específicas que codifican contenido político reconocible (por ejemplo, retórica anti-Biden, defensa progresista) están activas esporádicamente en el Modelo Base, pero están completamente inactivas (cero) en el Modelo Instruct a través de los 84 prompts.
• La Naturía del Desfase: La puntuación partidista positiva residual (0.169) en el Modelo Instruct no es impulsada por características de política. La descomposición muestra que el 68% de esta puntuación proviene del sesgo del decodificador SAE (heredado del corpus de tweets del Congreso) y el 24% de una única característica (32143) que codifica el estilo de discurso formal (listas numeradas, citas, voz institucional) en lugar de política. La alineación positiva de este rasgo de estilo es un artefacto del corpus de entrenamiento, no una postura política.
• Desconexión Causal: Los experimentos de direccionamiento demuestran una divergencia fundamental de comportamiento. Cuando se dirige el Modelo Base a lo largo de las direcciones de las características de política, su salida cambia para coincidir con la dirección partidista. En contraste, el Modelo Instruct muestra que sus representaciones internas se mueven en respuesta al direccionamiento (la puntuación partidista se desplaza idénticamente), pero el flujo de generación falla en convertir este cambio representacional en una salida textual. El Modelo Instruct continúa generando texto equilibrado y neutral independientemente de la magnitud del direccionamiento.

Contribuciones Clave

1. Evidencia Mecanicista de "Desconectar-No-Borrar": El artículo proporciona evidencia empírica de que el RLHF no borra la geometría partidista del espacio de representación del modelo. En su lugar, corta el camino causal entre esa geometría y el mecanismo de generación de salida.
2. Distinción entre Neutralidad Funcional y Estructural: El estudio distingue entre neutralidad funcional (la salida parece equilibrada) y neutralidad estructural (el sesgo subyacente ha sido eliminado). Los autores demuestran que el modelo Llama 3.1 8B Instruct logra la primera mientras retiene la segunda.
3. Rol del Estilo de Discurso: El análisis identifica que la "neutralidad" observada es en parte un subproducto de entrenar al modelo mediante RLHF para adoptar un registro formal y estructurado específico, el cual resulta alineado con una dirección particular en el espacio partidista debido a los datos de entrenamiento, en lugar de ser un borrado deliberado del conocimiento político.

Significancia y Reivindicaciones
El artículo argumenta que la neutralidad observada en los LLM alineados es una "máscara". La geometría partidista subyacente permanece intacta y puede reactivarse si se elude el vínculo causal con el flujo de generación. Los autores afirman que este patrón de "desconectar-no-borrar" es probablemente una propiedad general de los métodos de alineación actuales, observada previamente en los dominios de toxicidad y seguridad.

La significancia de este hallazgo reside en la fragilidad del comportamiento alineado. Debido a que el sesgo estructural permanece, existen mecanismos que pueden inferir y amplificar la identidad partidista de un usuario (por ejemplo, a través del contexto de la conversación) para reactivar la generación partidista. El artículo concluye que los métodos de alineación actuales pueden lograr solo un cumplimiento superficial, sugiriendo que la verdadera seguridad y alineación requieren métodos que alineen las representaciones mismas, en lugar de simplemente redirigir la generación alrededor de estructuras existentes cargadas de valores. Los autores señalan que sus hallazgos son específicos para la arquitectura Llama 3.1 8B y que las demandas computacionales de este análisis mecanicista limitan su aplicación actual a modelos de pesos abiertos.