Can LLMs Simulate Personas with Reversed Performance? A Systematic Investigation for Counterfactual Instruction Following in Math Reasoning Context

1. Planteamiento del Problema

Los Modelos de Lenguaje Grandes (LLMs) se utilizan cada vez más para simular "personajes" o personas en entornos virtuales, aprovechando su capacidad de seguimiento de instrucciones. Sin embargo, la investigación actual se ha centrado casi exclusivamente en generar personajes que demuestren competencia alta, precisión y éxito en las tareas, lo cual coincide con el comportamiento predeterminado de los LLMs (entrenados para optimizar el rendimiento).

El problema central identificado es la incapacidad de los LLMs para simular personas con rendimiento inverso (por ejemplo, estudiantes con baja proficiencia matemática). Esta limitación reduce la diversidad de las simulaciones y obstaculiza aplicaciones prácticas, como la educación, donde simular estudiantes que cometen errores es crucial para estrategias de aprendizaje como "aprender enseñando".

El artículo define esta capacidad faltante como "seguimiento de instrucciones contrafácticas": la habilidad de un modelo para anular su comportamiento óptimo natural y generar deliberadamente respuestas subóptimas, erróneas o hesitantes, sin violar restricciones de seguridad (a diferencia de los jailbreaks).

2. Metodología

Configuración de la Tarea

• Dominio: Razonamiento matemático utilizando el dataset GSM8k.
• Objetivo: Evaluar si los LLMs pueden seguir instrucciones para simular dos tipos de estudiantes:
  1. Alto rendimiento: Razonamiento claro, rápido, sin errores y con confianza.
  2. Bajo rendimiento: Razonamiento hesitante, con errores de cálculo, dudas, uso de métodos básicos (como contar con los dedos) y respuestas incorrectas.
• Condición Interseccional: Se añade una variable demográfica (raza: Afroamericana, Blanca, Hispana) para probar la robustez del seguimiento de instrucciones contrafácticas en un contexto más complejo.

Métricas de Evaluación

1. Precisión de la Tarea (Acc): Mide si la respuesta final es correcta. Una caída en la precisión para la persona de "bajo rendimiento" indica que el modelo está siguiendo la instrucción de fallar.
2. Grado de Contraste (DoC - Degree of Contrast): Una métrica novedosa que evalúa la diferencia en el estilo de razonamiento y el comportamiento (no solo el resultado final).
   • Se utiliza un enfoque LLM-as-a-judge (GPT-4o) para comparar las respuestas de alta y baja performance.
   • Puntuación de 1 (sin contraste) a 3 (contraste fuerte), evaluando hesitación, confianza, estructura lógica y errores.
   • Validado con anotación humana (correlación de Pearson r = 0.77).

Estrategias de Prompting

Se probaron múltiples enfoques para inducir el comportamiento deseado:

• Zero-Shot: Instrucciones directas de la persona.
• One-Shot: Inclusión de un ejemplo de respuesta (correcto o incorrecto) para guiar al modelo.
• Auto-refinamiento (Self-Refinement): El modelo genera una respuesta, reflexiona sobre si cumple con el perfil de rendimiento y la reescribe.
• Prompting de Dos Etapas: Para la simulación interseccional, se separa la instrucción de rendimiento de la de raza en dos pasos.

Modelos Evaluados

Se incluyeron modelos de código abierto (Llama 3.1 8B/70B) y cerrados (GPT-4o, GPT-4-turbo, GPT-3.5-turbo, OpenAI o1, Claude-3.5).

3. Resultados Clave

Dificultad en el Seguimiento de Instrucciones Contrafácticas

• Inclinación hacia el Alto Rendimiento: La mayoría de los LLMs luchan por reducir su precisión cuando se les pide simular bajo rendimiento. Incluso con instrucciones explícitas, muchos modelos mantienen una precisión muy alta.
  • Ejemplo: OpenAI o1 mantiene un 99.0% de precisión en todas las personas, sin importar si se le pide simular un estudiante con dificultades.
  • Ejemplo: GPT-4-turbo solo reduce su precisión un 4.6% bajo instrucciones de bajo rendimiento.
• Efecto del Auto-refinamiento: Paradójicamente, en algunos casos (como GPT-3.5-turbo), el auto-refinamiento no ayuda a simular errores; en otros (como Claude-3.5), sí logra una caída drástica de precisión (de 74% a 27%), pero esto no es consistente en todos los modelos.

Comportamiento vs. Precisión (DoC)

• Aunque muchos modelos no logran bajar su precisión (mantienen la respuesta correcta), sí logran cambiar su estilo de razonamiento.
• OpenAI o1 es un caso notable: aunque da la respuesta correcta en ambos casos, su "razonamiento" cambia drásticamente (muestra dudas, pasos lentos y errores corregidos) cuando se le pide simular bajo rendimiento. Esto demuestra que el DoC puede capturar cambios de estilo incluso cuando la precisión no cae.
• Los modelos de mayor tamaño (Llama 70B vs 8B) no muestran una mejora significativa en la capacidad de seguir estas instrucciones contrafácticas.

Impacto de la Interseccionalidad (Raza)

• Reducción de la Brecha de Rendimiento: Al añadir atributos raciales a la instrucción, la brecha de precisión entre las personas de alto y bajo rendimiento se reduce aún más. Los modelos se vuelven menos propensos a simular errores cuando se introduce la variable de raza.
• Sesgos Potenciales: Se observaron disparidades en cómo los modelos responden a diferentes grupos raciales. Por ejemplo, GPT-4o mostró una caída de precisión menor para la persona "Blanca" comparada con "Afroamericana" o "Hispana" bajo ciertas condiciones, sugiriendo que la simulación de bajo rendimiento puede estar sesgada por la raza.
• Degradación del Contraste: El enfoque de "Dos Etapas" para simular raza y rendimiento simultáneamente debilitó significativamente el DoC, indicando que separar las instrucciones reduce la coherencia del comportamiento simulado.

4. Contribuciones Principales

1. Definición y Evaluación de "Seguimiento de Instrucciones Contrafácticas": El estudio es el primero en evaluar sistemáticamente la capacidad de los LLMs para simular comportamientos deliberadamente subóptimos en tareas de razonamiento.
2. Métrica DoC: Propone una nueva métrica que va más allá de la precisión final, evaluando la calidad del razonamiento y la coherencia conductual (hesitación, confianza, estructura lógica).
3. Hallazgo de Limitaciones Críticas: Demuestra que los LLMs, incluidos los modelos de razonamiento avanzados como o1, tienen dificultades inherentes para "apagar" su competencia natural, lo que limita su utilidad en simulaciones educativas realistas o entornos que requieren diversidad de habilidades.
4. Análisis de Sesgo Interseccional: Revela que añadir atributos demográficos (raza) exacerba la dificultad de simular bajo rendimiento e introduce inconsistencias y posibles sesgos en la simulación.

5. Significado e Implicaciones

• Educación: La incapacidad de simular estudiantes con dificultades limita la creación de entornos de aprendizaje virtuales efectivos donde los estudiantes puedan practicar la enseñanza o identificar errores comunes.
• Investigación de IA: Sugiere que el entrenamiento de LLMs para optimizar la precisión y la utilidad crea una "inercia" difícil de superar mediante prompts simples. Los modelos no están diseñados para ser "incompetentes" de forma controlada.
• Ética y Sesgo: El estudio advierte sobre los riesgos de simular personas con atributos demográficos específicos, ya que los modelos podrían reforzar estereotipos o mostrar comportamientos desiguales dependiendo de la raza asignada al personaje de bajo rendimiento.
• Futuro: Se requiere investigación para desarrollar mecanismos que permitan un control más fino sobre el nivel de competencia de los agentes simulados, más allá del simple prompting.

En conclusión, el paper concluye que, aunque los LLMs pueden imitar el estilo de un personaje de bajo rendimiento (dudas, hesitación), a menudo fallan en producir el resultado subóptimo esperado, y esta falla se agrava cuando se introducen variables demográficas complejas.