Resumen Técnico: Donde las Trayectorias se Dividen: Control Localizado y Calibrado del Razonamiento Moral en Modelos de Lenguaje Grandes

Enunciado del Problema

A medida que los Modelos de Lenguaje Grandes (LLM) transitan de chatbots pasivos a agentes activos y simuladores sociales, la demanda de controlar su comportamiento ético ha evolucionado. Los métodos existentes para dirigir el comportamiento del modelo, como la ingeniería de prompts o la adición de vectores de dirección escalares, a menudo carecen de garantías de interpretabilidad y calibración. Específicamente, el rango efectivo de los coeficientes de dirección es incierto, y el grado resultante de adhesión a una perspectiva ética objetivo es impredecible. Los autores argumentan que la dirección moral efectiva requiere intervenciones que sean tanto localizadas (editando solo donde los marcos éticos compiten dentro de la red) como calibradas (produciendo efectos predecibles mediante pesos de preferencia acotados). El artículo se centra en el par canónico de marcos éticos: deontología (deberes basados en reglas) y utilitarismo (resultados basados en consecuencias), que a menudo producen prescripciones conflictivas en dilemas morales.

Metodología

El enfoque propuesto, Enrutamiento Convergente-Divergente (CDR), opera en tiempo de inferencia sin ajuste fino del modelo. Consiste en dos etapas principales:

1. Enrutamiento Convergente-Divergente (CDR) y Control Binario

La hipótesis central es que los marcos éticos compiten en "puntos de bifurcación" específicos dentro de los bloques transformadores donde las trayectorias convergen y luego divergen.

• Identificación del Punto de Bifurcación: El método identifica capas donde las cabezas de atención se comparten entre marcos éticos (convergencia), pero las unidades subsiguientes de la Red de Alimentación Avanzada (FFN) divergen.
  • Cabezas de Atención: Se entrenan sondas lineales sobre las representaciones de las cabezas de atención para predecir etiquetas de marcos éticos. Las cabezas con alto rendimiento predictivo se marcan como relevantes.
  • Vectores FFN: Los autores identifican vectores FFN (columnas de la matriz de proyección ascendente) que se alinean con direcciones éticas específicas derivadas de palabras indicadoras (por ejemplo, "deontología").
• Mecanismo de Puerta: En los puntos de bifurcación identificados, el método bloquea el flujo desde las cabezas de atención compartidas hacia las unidades FFN no objetivo. Esto evita la propagación de señales desde las cabezas compartidas hacia las unidades aguas abajo del marco ético inactivo, manteniendo intactos los cálculos aguas arriba.
• Control Binario: Este bloqueo actúa por sí solo como un interruptor binario, potenciando significativamente el razonamiento en el marco objetivo sin prompts explícitos, polarizando efectivamente la salida del modelo.

2. Control de Alta Frecuencia mediante Calibración de Logits Duales

Para lograr un control continuo y calibrado en lugar de solo un cambio binario, los autores introducen un proceso de dos etapas:

• Extracción de Direcciones Pareadas: Utilizando los flujos residuales obtenidos bajo control binario (donde un marco es suprimido), los autores aplican Patrones Espaciales Comunes (CSP), una técnica adaptada del procesamiento de señales de EEG. CSP aísla direcciones discriminativas ($u^{(l)}$ para utilitarismo y $d^{(l)}$ para deontología) para cada capa de punto de bifurcación maximizando la relación de varianza entre las dos clases mientras suprime la varianza compartida.
• Calibración de Logits Duales (DLC): Esta es una actualización de forma cerrada, de norma-$\ell_2$ mínima, aplicada al flujo residual en los pasos de decodificación.
  • El método define logits direccionales basados en la proyección del flujo residual sobre las direcciones extraídas.
  • Resuelve un problema de optimización para encontrar una actualización $\Delta h^{(l)}_t$ que minimice la norma de la edición mientras fuerza a que las proyecciones direccionales resultantes se alineen con los pesos de preferencia especificados por el usuario $(\alpha_U, \alpha_D)$, donde $\alpha_U + \alpha_D = 1$.
  • Esto reemplaza el coeficiente escalar ilimitado utilizado en métodos de dirección anteriores con pesos de preferencia acotados en el 1-símplice, garantizando interpretabilidad y predictibilidad.

Contribuciones Clave

1. Intervención Localizada: El artículo introduce un enfoque mecanicista para la dirección moral que apunta a "puntos de bifurcación" específicos (cabezas de atención compartidas que divergen en unidades FFN distintas) en lugar de aplicar adiciones de vectores globales.
2. Control Calibrado: Al adaptar CSP e introducir la Calibración de Logits Duales, el método permite un control de alta frecuencia donde la tendencia ética del modelo puede ajustarse continuamente para coincidir con los pesos de preferencia especificados por el usuario $(\alpha_U, \alpha_D)$.
3. Interpretabilidad: El enfoque proporciona un mecanismo claro sobre cómo se manipula el razonamiento ético, rastreando la competencia entre marcos hacia componentes arquitectónicos específicos.
4. Preservación de Capacidades Generales: La naturaleza localizada de las ediciones asegura que las capacidades generales de lenguaje (por ejemplo, trivia, matemáticas, traducción) se preserven en gran medida, a diferencia de algunos métodos de dirección global que degradan el rendimiento.

Resultados Experimentales

El método fue evaluado en dilemas morales de la vida real (conjunto de datos AITA) utilizando LLaMA-2-7B-Chat, Vicuna-7B-v1.5 y Yi-1.5-6B-Chat.

• Control Binario: El método polarizó con éxito el comportamiento del modelo hacia el marco objetivo. Por ejemplo, en LLaMA, establecer $\alpha_U=1$ (utilitarismo puro) aumentó la tasa de salida utilitarista de una línea base de ~62% a ~84%, mientras que $\alpha_U=0$ la redujo a ~20%.
• Calibración de Alta Frecuencia: El método demostró una relación casi monótona entre el peso de preferencia de entrada $\alpha_U$ y la tendencia utilitarista observada ($U_{op}$). El Error Absoluto Medio (MAE) entre las tasas objetivo y observadas fue significativamente menor que el de las líneas base (Solo Prompt, Dirección de Cabeza Top-K y Dirección de Ratio Post-FFN de Mejor Capa), con desviaciones típicamente dentro de 5 puntos porcentuales.
• Estudios de Ablación:
  • Reemplazar CSP con otros métodos de extracción de direcciones (cPCA, PLS-DA) resultó en errores de calibración más altos.
  • Eliminar el mecanismo de puerta (Bloqueo) redujo significativamente la capacidad del modelo para distinguir entre pesos de preferencia altos y bajos, particularmente para Vicuna.
  • La dirección en capas individuales (sin la lógica completa del punto de bifurcación) fue menos efectiva que el pipeline CDR completo.
• Capacidades Generales: La evaluación en GSM8K, TriviaQA y tareas de traducción mostró una degradación negligible en las capacidades generales en la mayoría de los ajustes, con solo caídas menores en pesos de preferencia extremos para modelos específicos.
• Evaluación Humana: Los anotadores humanos confirmaron que las justificaciones del modelo coincidían consistentemente con el marco ético declarado (precisión de 0.81 para LLaMA y 0.85 para Vicuna).

Significado y Afirmaciones

Los autores afirman que su trabajo proporciona un mecanismo fiable, interpretable y calibrado para dirigir LLMs hacia marcos éticos específicos en tiempo de inferencia. El significado radica en:

• Ir más allá de los vectores de dirección de "caja negra" hacia una comprensión mecanicista de dónde y cómo se procesa el razonamiento ético en los transformadores.
• Ofrecer un esquema de control calibrado donde el grado de alineación ética es predecible y acotado, abordando la incertidumbre de los coeficientes escalares en trabajos anteriores.
• Demostrar que las ediciones localizadas pueden desplazar posturas de razonamiento de alto nivel sin perturbar ampliamente la inteligencia general del modelo.

El artículo concluye que, aunque el enfoque actual se centra en el eje binario de deontología versus utilitarismo, el marco del Enrutamiento Convergente-Divergente ofrece una vía para trabajos futuros que exploren sistemas de valores más pluralistas y espectros morales complejos. Los autores enfatizan la importancia del uso responsable y la transparencia, señalando que la capacidad de dirigir posturas éticas conlleva riesgos de encuadre selectivo en aplicaciones de alto riesgo.