💻 computer science

Persona Non Grata: LLM Persona-Driven Generations in MCQA are Unstable in Distinct Dimensions

Este artículo investiga la inestabilidad de las generaciones basadas en la personalidad en los modelos de lenguaje de gran tamaño para la resolución de preguntas de opción múltiple, revelando que el rendimiento varía significativamente entre familias de modelos, tamaños y dominios, y es más sensible a los formatos de instrucción que a otros hiperparámetros como la temperatura.

Autores originales: César Guerra-Solano, Xiang Lorraine Li

Publicado 2026-07-02

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: César Guerra-Solano, Xiang Lorraine Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un asistente robótico muy inteligente y versátil. Puedes decirle a este robot: "Imagina que eres un abogado", o "Imagina que eres un biólogo", y luego pedirle que responda una serie de preguntas de opción múltiple. Esto se llama Generación Impulsada por la Persona (PDG, por sus siglas en inglés). La idea es que el "personaje" del robot podría ayudarlo a responder mejor, o al menos a mantenerse consistente.

Este artículo es como un inspector de control de calidad para estos personajes robóticos. Los autores plantearon una pregunta simple pero aterradora: Si le pedimos al mismo robot que sea el mismo personaje, pero cambiamos los detalles minúsculos de cómo hacemos la pregunta, ¿da el robot las mismas respuestas?

Descubrieron que la respuesta suele ser no. El robot es sorprendentemente inestable, como un camaleón que cambia de color no solo según el fondo, sino también según si parpadeas o estornudas.

Aquí hay un desglose de sus hallazgos utilizando analogías simples:

1. Las tres formas de medir la "inestabilidad"

Los investigadores no solo observaron si el robot obtenía la respuesta correcta. Construyeron tres "medidores de inestabilidad" específicos:

El Medidor de Puntuación (Inestabilidad de Rendimiento): Si le pides al robot la misma pregunta de matemáticas 10 veces con instrucciones ligeramente diferentes, ¿obtiene un 80% de aciertos cada vez? ¿O salta entre el 60% y el 90%?
- Analogía: Imagina a un jugador de dardos. Si da en el centro del blanco cada vez, es estable. Si da en el centro, luego en el anillo exterior, luego en el suelo y luego de nuevo en el centro, es inestable.
El Medidor de Ganador (Inestabilidad de Resultado): En una competencia, ¿quién es el "mejor" personaje? ¿Es el "Abogado" siempre el mejor en preguntas legales?
- Analogía: Imagina una carrera. En una versión de la carrera, el Abogado gana. En una versión ligeramente diferente de la carrera (tal vez el disparo de salida fue más fuerte), el Biólogo gana. El artículo encontró que quién gana la carrera cambia drásticamente dependiendo de los detalles minúsculos de la configuración.
El Medidor de Preguntas (Inestabilidad de Corrección de Preguntas): ¿Obtuvo el robot las mismas preguntas específicas correctamente?
- Analogía: Imagina a un estudiante tomando un examen. En una versión, acertó las preguntas 1, 2 y 3. En otra, acertó las 1, 4 y 5. Obtuvo la misma puntuación, pero sabía cosas diferentes. Este medidor comprueba si el robot está realmente aprendiendo o si solo está adivinando al azar.

2. Los principales hallazgos: ¿Qué hace que el robot se sacuda?

El "Cómo lo pides" importa más que "Qué tan caliente estás"
Los investigadores probaron tres cosas que podrían cambiar el comportamiento del robot:

Temperatura: Qué tan "creativo" o aleatorio se permite que sea el robot.
Prompt de Persona: Cómo le dices al robot quién ser (por ejemplo, "Eres un abogado" frente a "Adopta la identidad de un abogado").
Prompt de Tarea: Cómo haces la pregunta (por ejemplo, "Solo da la respuesta" frente a "Explica tu razonamiento").

La gran sorpresa: La forma en que redactas el Prompt de Tarea (cómo haces la pregunta) causó el mayor caos.

Analogía: Imagina que estás horneando un pastel. Podrías pensar que la temperatura del horno (Temperatura) es lo más importante. Pero este artículo dice que las instrucciones de la receta (Prompt de Tarea) son en realidad el problema. Si le dices al robot "explica tu pensamiento" en lugar de solo "da la respuesta", el rendimiento del robot se vuelve mucho más impredecible.

Las matemáticas y el sentido común son los peores infractores
El robot fue más inestable al responder preguntas de Matemáticas o de Sentido Común.

Analogía: Es como un estudiante que es excelente memorizando fechas históricas pero se pone nervioso y cambia de opinión cada vez que tiene que resolver un problema matemático o explicar por qué un gato está sobre un tapete. El artículo sugiere que esto se debe a que los robots no están entrenados tan intensamente en estos tipos específicos de lógica como en otros temas.

Los robots más grandes son más estables (usualmente)
Generalmente, los modelos más grandes y potentes eran más estables que los más pequeños.

Analogía: Un barco gigante y pesado es menos propenso a balancearse en las olas que una lancha pequeña. Sin embargo, hubo una excepción: un modelo muy grande (Qwen 14B) se volvió más inestable cuando se le pidió que "explicara" sus respuestas, probablemente porque comenzó a usar un "cadena de pensamiento" (pensar en voz alta) que confundió la calificación.

El personaje no importa tanto como la configuración
Podrías pensar que ser un "Abogado" hace que el robot actúe de forma diferente a ser un "Médico". El artículo encontró que el personaje específico (persona) no importaba mucho.

Analogía: No importa si el actor lleva una bata de médico o un traje de abogado; si el director (las instrucciones del prompt) es inestable, toda la actuación será inestable. La inestabilidad proviene de las instrucciones, no del disfraz.

3. Por qué esto es importante (según el artículo)

El artículo advierte que si realizas un experimento hoy para ver qué personaje de robot es el mejor, y lo realizas de nuevo mañana con un formato de prompt ligeramente diferente, podrías obtener un resultado completamente distinto.

El escenario "Inestable": En un entorno, el robot piensa que un "Abogado" es el mejor para responder preguntas. En un entorno "inestable", podría pensar que un "Biólogo" es el mejor, o que una "persona hispana" se desempeña de manera diferente que una "persona blanca" en preguntas de matemáticas.
El peligro: El artículo argumenta que estas diferencias podrían no ser sesgos reales en el cerebro del robot. En cambio, podrían ser simplemente artefactos de la configuración inestable. Si el robot es inestable, no puedes confiar en que te diga si tiene sesgos o no.

Resumen

Este artículo es una etiqueta de advertencia para cualquiera que use IA para interpretar un personaje. Dice: "No confíes solo en la respuesta. Comprueba si la respuesta cambia si ajustas las instrucciones".

La "personalidad" del robot es frágil. Si cambias la forma de hacer la pregunta (especialmente si le pides que explique su trabajo), el robot podría cambiar de opinión sobre quién es el "mejor" personaje, qué preguntas acierta e incluso su puntuación general. Para obtener resultados fiables, necesitas encontrar las configuraciones "estables" (como pedir respuestas simples sin explicaciones) y mantenerlas.

Resumen Técnico: Persona Non Grata: Las Generaciones Impulsadas por Personas (PDG) en MCQA son Inestables en Dimensiones Distintas

Declaración del Problema

Mientras que las Generaciones Impulsadas por Personas (PDG, por sus siglas en inglés) son ampliamente utilizadas en la investigación y la industria —donde los Modelos de Lenguaje de Gran Escala (LLM) adoptan roles específicos para completar tareas—, la literatura existente se centra primordialmente en la estabilidad de estas personas en la generación de texto de formato libre (por ejemplo, el diálogo). Por el contrario, la estabilidad de las PDG en salidas que no son de texto denso, específicamente en la Respuesta de Preguntas de Opción Múltiple (MCQA), sigue siendo poco explorada. En los entornos de MCQA, una persona se expresa a través del desempeño de la tarea (por ejemplo, un biólogo respondiendo preguntas de biología) en lugar de la generación de texto estilístico. Estudios previos sugieren que estos entornos son implícitamente sesgados e impredecibles, pero carecen de estandarización con respecto a la elección de modelos e hiperparámetros. Este artículo aborda la brecha en la caracterización y cuantificación de la inestabilidad de las PDG de los LLM en tareas de MCQA a través de diversos entornos experimentales.

Metodología

Los autores evalúan cuatro familias de LLM de código abierto (Llama-3.2-1B, Llama-3.1-8B, Qwen2.5-1.5B, Qwen2.5-7B y Qwen2.5-14B) a través de 48 entornos experimentales distintos. Estos entornos se derivan de combinaciones de tres hiperparámetros:

Formato de Prompt de Persona (PPF): Variaciones en cómo se introduce la persona (por ejemplo, "barebones" frente a "identitynature").
Formato de Prompt de Tarea (TPF): Variaciones en cómo se presenta la pregunta (por ejemplo, "justanswer" frente a "explain-persona").
Temperatura ( $\tau$ ): Establecida en 0.0, 0.5 y 1.0.

La evaluación utiliza un conjunto de datos compuesto ( $D$ ) de aproximadamente 5,000 preguntas extraídas de MMLU, Social IQa y NormAd-Eti, que cubren 10 dominios (por ejemplo, Matemáticas, Historia, Medicina). El estudio involucra 41 personas distintas categorizadas en grupos basados en la identidad (por ejemplo, raza, género) y roles ocupacionales (por ejemplo, abogado, biólogo).

Para cuantificar la inestabilidad, los autores proponen tres métricas distintas:

Inestabilidad de Desempeño ( $I_A$ ): Mide la sensibilidad de la precisión del modelo a través de los entornos experimentales. Calcula la diferencia absoluta media por pares de la precisión para una persona en todos los pares de entornos.
Inestabilidad de Resultado ( $I_O$ ): Mide la variabilidad en las conclusiones experimentales, específicamente el ranking de las personas. Calcula la desviación estándar ponderada del rango de una persona a través de los entornos, donde los pesos están determinados por la desviación estándar de las precisiones en ese entorno (considerando la paridad del modelo).
Inestabilidad de Corrección de Preguntas ( $I_Q$ ): Mide la consistencia de las preguntas específicas respondidas correctamente. Calcula la similitud de Jaccard del conjunto de preguntas respondidas correctamente a través de todos los entornos para una persona, luego resta esto de 1 para representar el porcentaje de preguntas correctamente respondidas no compartidas.

Resultados Clave

El estudio revela que las PDG en MCQA son altamente inestables, observándose variaciones significativas incluso a través de configuraciones experimentales similares utilizadas en trabajos previos.

Tamaño y Familia de Modelos: La inestabilidad generalmente disminuye a medida que aumenta el tamaño del modelo. Los modelos más grandes (por ejemplo, Qwen2.5-14B) exhiben puntuaciones de inestabilidad más bajas en las tres dimensiones en comparación con sus contrapartes más pequeñas (por ejemplo, Llama-3.2-1B). Sin embargo, las familias de modelos también muestran patrones de inestabilidad distintos.
Influencia de los Hiperparámetros:
- Formato de Prompt de Tarea (TPF): Identificado como el hiperparámetro más influyente para la inestabilidad. Las variaciones en el TPF (particularmente los formatos de "explicación") introdujeron más inestabilidad de predicción que la temperatura o los formatos de prompt de persona.
- Temperatura: Las temperaturas más altas ( $\tau=1.0$ ) condujeron consistentemente a una mayor inestabilidad en comparación con $\tau=0.0$ .
- Verbosidad del Prompt: Los formatos de prompt más verbosos o abstractos (por ejemplo, "identitynature") generalmente resultaron en una menor estabilidad en comparación con los formatos "barebones".
Especificidad del Dominio: La inestabilidad varía significativamente según el dominio de la pregunta. Las preguntas de Matemáticas y Razonamiento de Sentido Común exhibieron la mayor inibilidad, mientras que las de Historia y Conciencia Cultural mostraron la menor. Los autores hipotetizan que esto se relaciona con las disparidades en la representación de los datos de entrenamiento para estos dominios.
Independencia de la Persona: La persona específica utilizada (ya fuera basada en la identidad o en la ocupación) tuvo poca correlación con el grado de inestabilidad. La inestabilidad fue impulsada más por los entornos experimentales que por la persona en sí.
Estabilidad vs. Precisión: Existe una fuerte relación entre la estabilidad y la precisión. Los entornos "estables" (por ejemplo, $\tau=0$ , prompts simples) generalmente arrojaron una media y una precisión máxima más altas que los entornos "inestables".
Divergencia de Resultados: Diferentes entornos experimentales llevaron a conclusiones fundamentalmente diferentes sobre qué persona desempeñó mejor. En entornos inestables, el ranking de las personas pudo cambiar drásticamente, y las personas relacionadas con la demografía (que no deberían impactar el desempeño en tareas irrelevantes) mostraron comportamientos inconsistentes y potencialmente sesgados que variaban según el entorno.

Significancia y Contribuciones

El artículo reclama tres contribuciones primarias:

Identificación de la Inestabilidad: Demuestra que las PDG en MCQA no son robustas, exhibiendo una alta varianza en el desempeño, los rankings de resultados y la corrección a nivel de pregunta a través de variaciones estándar de hiperparámetros.
Métricas Novedosas: Introduce tres métricas específicas ( $I_A, I_O, I_Q$ ) que capturan dimensiones de inestabilidad más allá de la simple precisión, revelando que puntuaciones de precisión idénticas pueden ocultar inconsistencias significativas en qué preguntas se responden correctamente o cuál persona es considerada la "mejor".
Perspectivas Accionables: El estudio proporciona evidencia accionable de que la selección de hiperparámetros (particularmente el TPF) impacta críticamente la validez de los experimentos de PDG. Destaca que los entornos inestables pueden llevar a hallazgos contradictorios sobre la eficacia y el sesgo de las personas, sugiriendo que la investigación futura debe controlar y reportar rigurosamente estas dimensiones de estabilidad para asegurar resultados robustos y reproducibles.

Los autores concluyen que la inestabilidad de las PDG es un factor crítico que puede oscurecer o imitar el sesgo, lo que requiere un cambio hacia la evaluación de la robustez de las evaluaciones impulsadas por personas junto con su precisión.