Letting Tutor Personas Speak Up for LLMs: Learning Steering Vectors from Dialogue via Preference Optimization

Resumen Técnico: Permitiendo que las Personas de Tutoría Hablen por los LLM

Planteamiento del Problema
Si bien los Modelos de Lenguaje de Gran Escala (LLM) se han vuelto prominentes en la tutoría educativa, los enfoques existentes suelen aprender una política de tutoría única y monolítica. Estos métodos a menudo no logran capturar la diversidad inherente de los estilos de tutoría humana. En las interacciones del mundo real, la intención pedagógica se materializa a través de estrategias adaptativas donde los tutores varían su nivel de andamiaje, directividad, retroalimentación y apoyo afectivo basándose en las necesidades del alumno. Las técnicas actuales, como el uso de prompting con políticas específicas o el entrenamiento mediante el Ajuste Fino Supervisado (SFT) y el Aprendizaje por Refuerzo (RL), optimizan la calidad pedagógica general pero no modelan ni controlan explícitamente las variaciones estilísticas específicas exhibidas por tutores humanos individuales. La pregunta central de investigación abordada es cómo capturar estas diferencias en los estilos de tutoría y guiar a los LLM para que exhiban comportamientos específicos alineados con el tutor sin depender de instrucciones de prompting explícitas y diseñadas a mano.

Metodología
Los autores proponen un enfoque de dirección de activación (activation steering) que aprende un "vector de dirección" a partir de diálogos entre tutor y estudiante humanos para guiar el comportamiento del LLM hacia personas de tutoría específicas. La metodología procede en tres etapas principales:

1. Construcción de Datos y Modelado de Línea Base:
   Los autores utilizan el conjunto de datos Question-Anchored-Tutoring-Dialogues-2k, que comprende diálogos entre 21 tutores y estudiantes humanos únicos. Primero, un LLM (Llama-3.1-8B-Instruct) es sometido a un Ajuste Fino Supervisado (SFT) sobre este conjunto de datos para servir como un sustituto del comportamiento del "promedio de la población" del tutor. Este modelo está condicionado al contexto del diálogo para generar una respuesta de tutor genérica y promedio para cualquier turno dado.

2. Construcción de Pares Contrastivos:
   Para cada turno de diálogo, se construye un par contrastivo:

• Respuesta Preferida: La emisión real de un tutor humano específico ($t_{i,j,k}$).
• Respuesta No Preferida: La respuesta generada por el modelo SFT ($\bar{t}_{j,k}$), que representa el promedio de la población.
  Esta configuración define explícitamente la dirección desde el comportamiento promedio del tutor hacia el comportamiento específico del tutor $i$.

3. Aprendizaje del Vector de Dirección y los Coeficientes:
   Los autores emplean un objetivo de optimización de preferencia inspirado en BiPO (basado en la Optimización de Preferencia Directa). Aprenden:

• Un vector de dirección compartido ($v$) en el espacio de activación del modelo (específicamente en la última capa del transformador).
• Coeficientes de escala específicos del tutor ($\delta_i$) que escalan el vector compartido para cada tutor.

La optimización minimiza una pérdida logística que fomenta que el modelo dirigido asigne una mayor verosimilitud a la emisión del tutor real y una menor verosimilitud a la emisión promedio de la población. Los coeficientes $\delta_i$ están parametrizados mediante escalares aprendibles $u_i$ y se normalizan para tener una media unitaria entre los tutores para resolver la ambigüedad de escala. La función objetivo es:
$$\min_{v,u} \mathbb{E}_{i,j,k} \left[ -\log \sigma \left( \beta \log \frac{\pi_\theta(t_{i,j,k} | \mathcal{A}_L + \delta_i v)}{\pi_\theta(t_{i,j,k} | \mathcal{A}_L)} - \beta \log \frac{\pi_\theta(\bar{t}_{j,k} | \mathcal{A}_L + \delta_i v)}{\pi_\theta(\bar{t}_{j,k} | \mathcal{A}_L)} \right) \right]$$
donde $\mathcal{A}_L$ representa las activaciones latentes en la capa $L$, y $\beta$ es un hiperparámetro que controla la similitud con el modelo base.

En la inferencia, se introduce un factor de escala global $\alpha$ ($\mathcal{A}_L \leftarrow \mathcal{A}_L + \alpha \delta_i v$) para permitir un ajuste suave de la fuerza de la intervención.

Contribuciones Clave

• Extracción Implícita de Personas: El artículo demuestra que las personas específicas del tutor incrustadas en los diálogos humanos pueden extraerse y utilizarse para guiar el comportamiento de los LLM sin necesidad de prompting textual explícito.
• Dirección de Activación para la Tutoría: Los autores introducen un método para aprender una dirección de dirección compartida y coeficientes específicos del tutor que desplazan el comportamiento del modelo desde un promedio de la población hacia los estilos de tutores individuales.
• Variación Controlable e Interpretable: Los coeficientes de escala aprendidos ($\delta_i$) revelan una estructura interpretable correspondiente a diferencias consistentes en el comportamiento de tutoría (por ejemplo, desde un andamiaje con alto componente afectivo hasta una instrucción mínima y enfocada en la tarea).
• Mejoras de Rendimiento: El enfoque mejora la alineación semántica con las emisiones de los tutores reales y aumenta las tasas de victoria basadas en la preferencia, manteniendo en gran medida la similitud léxica.

Resultados Experimentales
Los autores evaluaron el método en un conjunto de prueba no utilizado mediante métricas léxicas (ROUGE-L, BLEU) y semánticas (Similitud de Coseno, Tasa de Victoria de LLM-como-Juez).

• Alineación Semántica: La dirección de la activación mejoró significativamente la alineación semántica con los tutores reales. En la etapa "media" de los diálogos (donde ocurre la resolución de problemas central), la similitud de coseno aumentó de 0.385 (sin dirección) a 0.426 (con dirección). El juez LLM prefirió las emisiones dirigidas sobre la línea base sin dirección en el 58.7% de las comparaciones.
• Similitud Léxica: La superposición léxica (ROUGE-L y BLEU) se mantuvo mayormente preservada, con solo reducciones leves, lo que indica que la dirección altera el fraseo y la estructura del discurso en lugar de forzar un emparejamiento exacto de palabras.
• Factor de Escala ($\alpha$): Variar $\alpha$ reveló un compromiso. Los valores moderados (por ejemplo, $\alpha=0.5$) ofrecieron el mejor equilibrio, mejorando la alineación estilística mientras se mantenía la similitud léxica. Los valores más altos ($\alpha=1.0$) aumentaron la Tasa de Victoria (0.582) pero redujeron las puntuaciones léxicas, lo que sugiere que una dirección demasiado fuerte puede degradar la fluidez superficial.
• Análisis Cualitativo: El análisis de los coeficientes aprendidos ($\delta_i$) mapeó a los tutores en un espectro de estilos. Los tutores con $\delta_i$ bajos exhibieron un "andamiaje rico en rapport" (uso de emojis, elogios, guía paso a paso), mientras que aquellos con $\delta_i$ altos demostraron estilos "orientados a la eficiencia" o "minimalistas" (correcciones concisas, instrucciones enfocadas en la tarea, menos lenguaje afectivo). El LLM dirigido replicó con éxito estos estilos distintos, como pasar de explicaciones genéricas a movimientos correctivos específicos y concisos o a un andamiaje empático dependiendo del tutor objetivo.

Significancia y Reivindicaciones
El artículo afirma que la dirección de la activación ofrece un mecanismo efectivo e interpretable para controlar la variación específica del tutor en los LLM utilizando señales derivadas directamente de los datos de diálogo humano. Los autores sostienen que su método permite la recuperación consistente de la dirección del tutor a través de diversos contextos de diálogo, desplazando el modelo de un comportamiento promedio de la población hacia los comportamientos específicos exhibidos por tutores individuales.

La significancia radica en la capacidad de capturar la "diversidad de estilos de tutoría" que a menudo se pierde en los modelos de política única. Los autores señalan que la dirección aprendida codifica un continuo de comportamientos pedagógicos, desde un andamiaje de alta inversión y construcción de rapport hasta una instrucción de baja inversión y orientada a la finalización de tareas. Concluyen que este enfoque proporciona una forma de controlar la intención pedagógica más allá del estilo superficial, permitiendo simulaciones de tutoría personalizadas que reflejan las diferencias matizadas encontradas en las interacciones humanas reales.

Limitaciones y Direcciones Futuras
Los autores reconocen varias limitaciones:

• Generalizabilidad: La evaluación se restringe a un único conjunto de datos de diálogos matemáticos; la generalización a otros dominios no ha sido verificada.
• Líneas Base: Las comparaciones se limitan a SFT; el trabajo futuro debería incluir líneas base basadas en prompting.
• Evaluación: El estudio depende de métricas automáticas y juicios basados en modelos en lugar de una evaluación humana.

Las direcciones de trabajo futuro propuestas incluyen la integración de rúbricas pedagógicas explícitas o recompensas de resultados del estudiante para alinear mejor los modelos con prácticas efectivas, el aprendizaje de vectores de dirección complementarios para personas de estudiantes para simular interacciones, y la extensión del método para aprender múltiples direcciones de dirección desentrelazadas para un control más fino sobre distintos atributos pedagógicos.