Resumen Técnico: Cuantificación y Mitigación de la Respuesta Socialmente Deseable en LLMs

1. Planteamiento del Problema

Los modelos de lenguaje de gran tamaño (LLMs) son evaluados cada vez más mediante cuestionarios de autoinforme humano (p. ej., inventarios de la personalidad de los Cinco Grandes) para establecer comparativas de perfiles conductuales y psicológicos. Sin embargo, estos instrumentos asumen una respuesta honesta. En contextos evaluativos, los LLMs —a menudo ajustados para ser útiles y evitar ofender— tienden a gravitar hacia respuestas socialmente preferidas. Este fenómeno, conocido como Respuesta Socialmente Deseable (SDR, por sus siglas en inglés), sesga las puntuaciones derivadas de los cuestionarios y socava las conclusiones posteriores sobre seguridad, sesgo y consistencia de la persona.

La literatura actual carece de:

1. Una métrica estandarizada para cuantificar la magnitud de la SDR en LLMs que sea comparable entre constructos y frente a referentes humanos.
2. Formatos de medición diseñados específicamente para mitigar la SDR preservando al mismo tiempo la capacidad de recuperar los perfiles latentes pretendidos.
3. Un marco que distinga entre la distorsión real de la respuesta y los artefactos de los métodos de puntuación (p. ej., puntuaciones ipsativas en formatos de elección forzada).

2. Metodología

2.1 Diseño Experimental

El estudio emplea un marco psicométrico para cuantificar la SDR como un desplazamiento inducido por instrucciones en las puntuaciones latentes.

• Participantes: Nueve LLMs de seguimiento de instrucciones de tres proveedores (OpenAI, Google, Anthropic).
• Personas (Personas): 50 personas sintéticas con perfiles objetivo conocidos de los Cinco Grandes ($z_i$), generadas para imitar distribuciones de rasgos humanos realistas.
• Condiciones: Se aplicaron dos condiciones de instrucción a cada persona:
  • HONEST (HONESTO): Responde lo más honestamente posible.
  • FAKE-GOOD (SIMULAR BUENA IMAGEN): Responde para dar la mejor impresión posible (diseño estándar de instrucción de simulación de farsa).
• Formatos de Respuesta:
  • Likert (Estímulo Único): 60 ítems calificados en una escala de 7 puntos.
  • Elección Forzada Graduada (GFC): 30 pares de enunciados calificados en una escala bipolar de 7 puntos (Izquierda mucho más precisa vs. Derecha mucho más precisa).

2.2 Construcción del Instrumento

El estudio utilizó un subconjunto del inventario de marcadores de factores de los Cinco Grandes de Goldberg ($J=98$ ítems).

• Estimación de Deseabilidad: Dos LLMs potentes (GPT-5, Gemini 2.5 Pro) actuaron como "evaluadores de deseabilidad" para asignar puntuaciones de deseabilidad social ($s_j$) a cada ítem en una escala de 9 puntos, fundamentada en el encuadre normativo humano.
• Construcción de GFC: Un algoritmo de optimización restringida seleccionó 30 pares transdominios donde las puntuaciones de deseabilidad de los dos enunciados eran estrechamente similares (brecha máxima de 0.18, media de 0.03). Esto evita que los modelos seleccionen uniformemente la opción "socialmente mejor".

2.3 Puntuación Psicométrica (IRT)

Para permitir comparaciones válidas entre formatos y condiciones, el estudio utiliza la Teoría de Respuesta al Ítem (IRT) en lugar de la puntuación clásica.

• Likert: Modelado mediante un Modelo de Respuesta Graduada (GRM) multidimensional.
• GFC: Un modelo Thurstonian IRT logístico ordinal. Este enfoque postula utilidades latentes para cada enunciado y modela las elecciones como diferencias entre utilidades, recuperando puntuaciones latentes normativas ($\theta$) en una escala común. Esto evita el problema de la ipsatividad (suma constante) inherente a la puntuación de elección forzada estándar, que confunde la posición absoluta con los compromisos dentro del perfil.

2.4 Métricas

1. Cuantificación de la SDR: Definida como el tamaño del efecto estandarizado corregido por dirección (Cohen's $d_z$) del desplazamiento en las puntuaciones latentes entre las condiciones FAKE-GOOD y HONEST. Los signos se corrigen para que los valores positivos siempre indiquen un desplazamiento hacia la deseabilidad social (mayor A, C, E, O; menor N).
2. Recuperación de la Verdad de Base (Ground-Truth): Medida por la correlación de Pearson entre el perfil latente estimado ($\hat{\theta}$) y el objetivo de la persona sintética conocida ($z$).

3. Contribuciones Clave

1. Métrica de SDR para LLMs: Una métrica psicométricamente fundamentada (tamaño del efecto inducido por instrucción en puntuaciones latentes de IRT) que permite la comparación entre constructos y modelos, anclada a los referentes humanos de simulación de farsa instruida.
2. Inventario GFC con Deseabilidad Emparejada: Un nuevo inventario de los Cinco Grandes construido mediante optimización restringida para igualar la deseabilidad de los ítems a través de dominios, puntuado mediante IRT Thurstoniano para recuperar puntuaciones normativas.
3. Validación Empírica: Una evaluación exhaustiva de nueve LLMs que demuestra el compromiso entre la mitigación de la SDR y la recuperación del perfil.

4. Resultados

4.1 Magnitud de la SDR

• Formato Likert: Exhibió una SDR consistentemente grande en todos los modelos y dimensiones. Las instrucciones de simular buena imagen causaron desplazamientos positivos significativos hacia perfiles socialmente deseables (mayor Amabilidad, Responsabilidad, Extraversión, Apertura; menor Neuroticismo). Los tamaños del efecto fueron comparables a los metaanálisis de simulación de farsa instruida en humanos.
• Formato GFC: La GFC con deseabilidad emparejada atenuó sustancialmente la SDR. Para la mayoría de los modelos, el tamaño del efecto cayó a niveles insignificantes o cercanos a cero. Solo 4 de 45 celdas de modelo-dimensión permanecieron estadísticamente significativas bajo GFC, en comparación con 45/45 bajo Likert.

4.2 Compromiso entre SDR y Recuperación

• Likert: Logró una mayor recuperación de la verdad de base (correlación con los perfiles objetivo) pero sufrió una gran distorsión de la SDR, situando los resultados en la zona de "Evitar" para contextos evaluativos.
• GFC: Redujo significativamente la SDR (moviendo los resultados a las zonas de "Recomendado" o "Precaución") mientras preservaba en gran medida la recuperación de la verdad de base. La mayoría de los puntos GFC mantuvieron correlaciones $r \ge 0.50$, lo que indica una validez convergente aceptable a fuerte.
• Variabilidad del Modelo: El compromiso varió según la familia de modelos. Aunque las variantes de mayor capacidad mostraron a veces una menor SDR bajo GFC, la relación no fue uniforme; algunos modelos más pequeños mostraron una SDR basal mínima, mientras que algunos modelos más grandes retuvieron una SDR mensurable incluso bajo GFC.

5. Significado y Reivindicaciones

El artículo sostiene que la evaluación basada en cuestionarios de los LLM es actualmente vulnerable a un sesgo significativo de deseabilidad social, lo que distorsiona los perfiles conductuales inferidos. El estudio demuestra que:

• La SDR es medible y dependiente del modelo: Puede cuantificarse como un desplazamiento sistemático en las puntuaciones latentes, no solo como un cambio en la puntuación agregada.
• La GFC con deseabilidad emparejada es una mitigación viable: Al forzar juicios comparativos entre opciones de deseabilidad similar, la GFC restringe la gestión de la impresión sin sacrificar completamente la capacidad de recuperar las señales de personalidad pretendidas.
• Las prácticas de reporte deben evolucionar: Los autores abogan por "prácticas de reporte conscientes de la SDR". Al utilizar cuestionarios para auditorías comparativas, de seguridad o de equidad, los estudios deberían reportar tanto los perfiles inferidos como su susceptibilidad a la distorsión por deseabilidad social.

El artículo concluye que, si bien los formatos Likert pueden maximizar la recuperación bajo condiciones estrictamente honestas, la GFC con deseabilidad emparejada es preferible en entornos evaluativos donde la presión de la autopresentación es probable que distorsione los resultados. Los hallazgos motivan trabajos futuros para vincular las magnitudes de la SDR con objetivos de entrenamiento y políticas de seguridad específicos.