Resumen Técnico: Análisis Mecanicista de Algoritmos de Alineación en Modelos de Lenguaje

Planteamiento del Problema

Los algoritmos de alineación post-entrenamiento, diseñados para orientar a los Modelos de Lenguaje Extensos (LLM) hacia la utilidad, la inocuidad y la honestidad, se evalúan predominantemente como "cajas negras". El éxito se mide mediante métricas de comportamiento agregadas (p. ej., puntuaciones en benchmarks, calificaciones de preferencia humana) en lugar de una comprensión de cómo estos algoritmos remodelan las computaciones internas del modelo. Esta brecha diagnóstica impide la predicción rigurosa de efectos secundarios no deseados, tales como la degradación de capacidades específicas o la emergencia de comportamientos engañosos. Si bien el campo se ha diversificado desde el paradigma inicial de Optimización de Política Próxima (PPO) para incluir objetivos de preferencia directa como la Optimización de Preferencia Directa (DPO), la Optimización de Preferencia Simple (SimPO), la Optimización de Preferencia por Relación de Probabilidades (ORPO), la Optimación de Kahneman-Tversky (KTO) y la Optimización de Política Relativa de Grupo (GRPO), existe una falta de visión mecanicista comparativa sobre si estos diversos objetivos convergen en representaciones internas similares o inducen cambios distintos a nivel de características.

Metodología

Los autores presentan un análisis mecanicista sistemático a través de seis métodos de optimización de preferencia (PPO, DPO, SimPO, ORPO, GRPO, KTO) aplicados a tres familias de modelos de pesos abiertos: Llama-3.2-3B, SmolLM3-3B y Qwen3-4B. Los modelos fueron alineados utilizando Adaptación de Bajo Rango (LoRA) en el conjunto de datos UltraFeedback. El análisis emplea un marco de interpretabilidad de tres vertientes:

1. Sondeo Lineal (Linear Probing): Para localizar las representaciones de preferencia, los autores entrenan clasificadores de regresión logística en las activaciones del flujo residual de las completaciones elegidas frente a las rechazadas. Esto mide la separabilidad lineal de las señales de preferencia a través de diferentes capas, identificando las "mejores" capas donde la información de preferencia es más decodificable.
2. Autoencoders Dispersos (SAEs): Para descomponer las activaciones superpuestas y polisemánticas en características monosemánticas interpretables, se entrenaron Batch Top-K SAEs en los modelos base. Estos SAEs se utilizaron luego para medir la activación de ciertas características "ancla" en los modelos alineados, permitiendo la cuantificación de la supresión, amplificación o cambios de varianza de las características.
3. Crosscoders: Para comparar la geometría de los espacios latentes entre los modelos base y los alineados, se entrenaron crosscoders sobre estados ocultos emparejados. Esto permite clasificar las características como compartidas, específicas del modelo base, específicas del modelo alineado, atenuadas o redirigidas. Se utilizaron estadísticas geométricas (razones de norma y ángulos) para determinar si la alineación indujo un intercambio constructivo o una rotación/atenuación no constructiva.

Contribuciones Clave

El artículo establece que la alineación es una intervención heterogénea en lugar de una corrección conductual uniforme. Las principales contribuciones son:

• Diagnósticos de Alineación Exhaustivos: El estudio proporciona la primera comparación de "caja blanca" de seis métodos de alineación líderes a través de tres arquitecturas distintas, yendo más allá de la evaluación de salida hacia el análisis de la representación interna.
• Firmas de Alineación Distintas: Los autores identifican transformaciones geométricas cualitativamente diferentes inducidas por distintos objetivos:
  • KTO y GRPO: Estos métodos mejoran la separabilidad lineal de las representaciones de preferencia. KTO logra esto mediante el intercambio constructivo de características y el reclutamiento de características dispersas de alta saliencia. GRPO amplifica los gradientes basados en la varianza intra-grupo, lo que conduce a un fuerte poder discriminativo.
  • DPO y ORPO: Estos métodos degradan la separabilidad lineal con respecto al modelo base. DPO está asociado con una rotación geométrica no constructiva de las características compartidas, desplazando las representaciones hacia subespacios ortogonales a las direcciones originales de codificación de preferencia. ORPO atenúa las activaciones relevantes para la preferencia, reduciendo significativamente las señales de ciertas características (p. ej., una reducción del 400% en la activación mediana para ciertas características en Qwen3).
  • PPO y SimPO: Estos métodos preservan mayormente la geometría base, manteniendo la decodificabilidad lineal de las preferencias sin la mejora constructiva vista en KTO/GRPO o la degradación vista en DPO/ORPO.
• Variabilidad Dependiente de la Arquitectura: Los efectos internos de un objetivo de alineación específico no son uniformes entre las familias de modelos. Por ejemplo, mientras que ORPO causa un colapso catastrófico del rendimiento y supresión de características en Llama-3.2 y Qwen3, mantiene niveles de activación comparables al modelo base en SmolLM3. Esto demuestra que las afirmaciones sobre los mecanismos de alineación deben estar delimitadas por la arquitectura base específica y la capa analizada.

Resultados

• Sondeo Lineal: El patrón de "joroba de camello" de la discriminabilidad de la preferencia (concentrada en las capas iniciales-medias o medias-finales) persiste a través de los métodos. Sin embargo, KTO y GRPO muestran la mayor potencia discriminativa, mientras que DPO y ORPO muestran una reducida separabilidad en comparación con el modelo base.
• Análisis de SAE: ORPO induce una marcada supresión de las características ancla en los modelos Llama y Qwen, mientras que KTO introduce una mayor varianza en las activaciones de las características, sugiriendo una mayor dependencia del contexto. SmolLM3 exhibe una heterogeneidad diferente, donde GRPO muestra una activación reducida solo en la capa óptima para el sondeo, pero una activación elevada en la capa de entrenamiento.
• Geometría de Crosscoder: El intercambio de características de KTO es "constructivo", tomando prestada la discriminabilidad existente y mejorándola. En contraste, DPO y ORPO exhiben una distorsión "no constructiva"; DPO rota las características fuera del subespacio de preferencia, y ORPO atenúa las características compartidas. PPO y SimPO muestran distribuciones de características que reifican la preservación de la geometría base.
• Correlación Conductual: Las puntuaciones de MT-Bench revelan que el rendimiento superficial no siempre se correlaciona con la salud interna. Por ejemplo, ORPO causó una caída drástica en las puntuaciones de Llama-3.2 (de 6.33 a 2.12), lo cual fue diagnosticado como deriva de la representación interna y atenuación de características, en lugar de un simple ruido de salida.

Significancia

El artículo argumenta que la alineación conductual no implica una reestructuración interna uniforme. Al caracterizar la alineación como un conjunto de transformaciones representacionales distintas, los autores motivan la necesidad de auditorías estandarizadas a nivel de características para la seguridad y la interpretabilidad. Los hallazgos sugieren que son necesarios objetivos de optimización conscientes de los mecanismos para asegurar que los protocolos de alineación no solo mejoren el comportamiento de salida, sino que también mantengan o mejoren la fidelidad geométrica de las representaciones internas. Este trabajo mueve el campo hacia una comprensión de "caja blanca" de la alineación, proporcionando un marco de diagnóstico para detectar si la degradación proviene de la deriva de la representación, la sobre-optimización o la pérdida de circuitos de seguimiento de instrucciones.

Limitaciones

Los autores reconocen que sus experimentos están limitados a modelos de 3B–4B parámetros, y que los cambios representacionales pueden escalar de forma no lineal en modelos de producción más grandes. Además, el análisis es diagnóstico más que causal; si bien identifica la información decodificable y los cambios en la geometría de las características, no realiza ablaciones causales a nivel de componente (p. ej., parcheo de activación) para establecer los circuitos necesarios o suficientes para los comportos observados.