The Impact of Steering Large Language Models with Persona Vectors in Educational Applications

Título: El Impacto de la Dirección de Modelos de Lenguaje Grandes con Vectores de Persona en Aplicaciones Educativas

1. Problema y Motivación

Las aplicaciones educativas basadas en Modelos de Lenguaje Grandes (LLM) están evolucionando rápidamente hacia la personalización, donde el objetivo es adaptar no solo el contenido, sino también el estilo de interacción (ej. empatía, precisión factual). Aunque técnicas de "steering" (dirección) basadas en activaciones permiten modificar el comportamiento de un modelo en tiempo de inferencia sin reentrenamiento, su impacto en entornos educativos críticos sigue siendo desconocido.

La brecha de investigación principal radica en que no se ha estudiado sistemáticamente cómo la inyección de rasgos de personalidad (mediante vectores de activación) afecta simultáneamente a:

1. La calidad de las respuestas generadas por un tutor AI.
2. La justicia y consistencia del puntaje automático cuando el mismo modelo (o uno similar) actúa como evaluador.

El riesgo es que la personalización pueda degradar la calidad académica o introducir sesgos sistemáticos en la calificación, especialmente en tareas subjetivas.

2. Metodología

Los autores utilizaron el marco de vectores de persona (basado en Chen et al., 2025) y el método de diferencia de medias sobre estados ocultos.

• Datos y Tareas: Se utilizó el conjunto de datos ASAP-SAS (Automated Student Assessment Prize), que contiene respuestas cortas de estudiantes con puntuaciones humanas. Las tareas abarcan dos dominios: Ciencias (hechos, diseño experimental) y Artes del Lenguaje Inglés (ELA, análisis literario, opinión).
• Modelos Evaluados: Se probaron tres modelos con diferentes arquitecturas y escalas:
  • Qwen3-4B (Dense, 4B parámetros).
  • Qwen3-32B (Dense, 32B parámetros).
  • gpt-oss-20b (MoE - Mezcla de Expertos, 20B parámetros).
• Rasgos de Personalidad: Se definieron 7 rasgos contrastantes mediante pares de prompts (positivo vs. negativo):
  • Integridad: Alucinatorio vs. Factual, Sycophantic (adulador) vs. Candido.
  • Estilo de compromiso: Apático, Humorístico, Impolito.
  • Enmarcado afectivo: Optimista, Malvado (como línea base adversarial).
• Proceso de Dirección (Steering):
  1. Se generaron corpus contrastantes para extraer vectores de personalidad en las capas intermedias del modelo (aprox. 50% de profundidad).
  2. Durante la inferencia, se perturbó el estado oculto en una capa específica: $\tilde{h} = h + \alpha \cdot v$, donde $\alpha = 2.0$.
• Diseño Experimental:
  • Experimento A (Generación): Evaluar cómo los rasgos afectan la calidad de las respuestas generadas por el modelo (juzgadas por un LLM externo, GPT-5.2).
  • Experimento B (Calificación): Evaluar la interacción entre un "estudiante simulado" (con un perfil de rasgo) y un "calificador" (con un perfil de rasgo), midiendo los cambios en la puntuación otorgada.

3. Contribuciones Clave

• Primera evaluación sistemática: Es el primer estudio que examina los efectos de la dirección de rasgos de personalidad en la generación y calificación de respuestas cortas educativas.
• Descubrimiento de sensibilidad diferencial: Se demuestra que los efectos de la dirección no son uniformes; dependen críticamente del tipo de tarea (ELAs vs. Ciencias) y de la arquitectura del modelo (MoE vs. Dense).
• Análisis de sesgo en la calificación: Se cuantifica cómo los rasgos del calificador (ej. "malvado" o "optimista") desplazan sistemáticamente las puntuaciones, creando un riesgo de injusticia educativa.

4. Resultados Principales

A. Impacto en la Calidad de la Generación (RQ1 & RQ2):

• Deterioro General: La dirección de personalidad tiende a reducir la calidad general de las respuestas.
• Sensibilidad por Tarea: Las tareas de ELA (interpretativas, argumentativas) son 2.5 a 11 veces más sensibles a los cambios de personalidad que las tareas de ciencias (factuales). Por ejemplo, en Qwen3-32B, el impacto en ELA fue 11 veces mayor que en ciencias.
• Sensibilidad por Modelo: El modelo Qwen3-4B mostró los cambios más grandes, mientras que Qwen3-32B fue más estable. El modelo MoE (gpt-oss-20b) mostró comportamientos intermedios pero con grandes desviaciones en calibración.
• Fallos Semánticos: La dirección no solo cambia el tono, sino que introduce errores semánticos graves: invención de evidencia (alucinaciones), contradicciones internas, pérdida de registro académico y reframing de hechos dañinos como positivos.

B. Impacto en la Calificación Automática (RQ3):

• Desplazamientos de Calibración: Los calificadores con rasgos negativos (malvado, impolito) califican más severamente, mientras que los positivos (bueno, optimista) califican con más indulgencia.
• Magnitud de Sesgo: El modelo MoE (gpt-oss-20b) mostró desplazamientos de calibración ~6 veces mayores que los modelos densos (Qwen). Un calificador "empático" (rasgo evilneg) infló las notas en +0.233, mientras que uno "factual" las redujo en -0.101.
• Interacción Tarea-Calificador: Al igual que en la generación, las tareas de ELA son mucho más susceptibles a los sesgos del calificador que las de ciencias.
• Consistencia de Dirección: La dirección del sesgo (ej. optimista = más indulgente) es consistente entre modelos, pero la magnitud varía drásticamente según la arquitectura.

5. Significado e Implicaciones

• Necesidad de Calibración Específica: La personalización basada en rasgos no es "plug-and-play". Requiere una calibración consciente de la tarea y la arquitectura. Los sistemas que usan un solo modelo base para tutoría y evaluación deben tener en cuenta que la misma dirección que mejora la empatía del tutor podría degradar la precisión de la evaluación o sesgar las notas.
• Riesgo en Tareas Abiertas: La personalización es más riesgosa en tareas interpretativas (literatura, opinión) donde el espacio de respuesta es amplio, permitiendo que la personalidad altere la selección de evidencia y la estructura argumentativa. En tareas factuales, el riesgo es menor debido a las restricciones del contenido.
• Arquitectura y Estabilidad: Los modelos de Mezcla de Expertos (MoE) parecen ser más sensibles a las perturbaciones de activación que los modelos densos, requiriendo una supervisión y calibración más estricta si se utilizan en entornos educativos.
• Ética: El uso de rasgos negativos (como "malvado" o "alucinatorio") en este estudio sirve como prueba de estrés. En la práctica, desplegar estos rasgos sin control podría llevar a interacciones dañinas o calificaciones injustas.

En conclusión, el estudio advierte que, aunque la dirección de personalidad ofrece un mecanismo potente para adaptar LLMs a roles educativos, su implementación sin una calibración rigurosa basada en la tarea y la arquitectura puede comprometer la calidad educativa y la equidad en la evaluación.