Fairness in LLM-Generated Surveys

Resumen Técnico: Equidad en Encuestas Generadas por LLM

Planteamiento del Problema
Los Modelos de Lenguaje Extensos (LLM, por sus siglas en inglés) han surgido como alternativas viables a las encuestas tradicionales para simular patrones socio-políticos y económicos, siendo capaces de generar conjuntos de datos sintéticos que reflejan las respuestas humanas. Sin embargo, la aplicabilidad global de estos modelos es cuestionable debido a los sesgos inexplorados derivados de sus datos de entrenamiento, los cuales son predominantemente eurocéntricos o centrados en EE. UU. Si bien los LLM demuestran un alto rendimiento en contextos bien representados como los Estados Unidos, su capacidad para modelar de manera precisa y justa los comportamientos socio-políticos en regiones subrepresentadas, como Chile, sigue siendo poco explorada. Este estudio aborda la brecha crítica en la comprensión de cómo los LLM se desempeñan a través de diversos contextos socio-demográficos y geográficos, examinando específicamente si estos modelos perpetúan los sesgos sociales existentes o representan inadecuadamente a poblaciones específicas.

Metodología
El estudio emplea un marco comparativo utilizando datos de encuestas públicas de Chile (Centro de Estudios Públicos - CEP) y de los Estados Unidos (American National Election Studies - ANES). El diseño de investigación incluye tres experimentos de predicción:

1. Voto Presidencial: Predicción de las elecciones de voto en las elecciones presidenciales de EE. UU. de 2020 y las elecciones presidenciales chilenas de 2021.
2. Opinión sobre el Aborto: Predicción de las posturas individuales sobre el aborto basadas en características socio-demográficas.
3. Plebiscito Constitucional: Predicción de los resultados del plebiscito constitucional chileno de 2022.

Modelos y Prompts: El estudio evalúa múltiples modelos, incluyendo GPT-3.5-turbo, GPT-4-turbo, Llama-13b y Mistral (v0.2). Se utiliza una configuración de "prompt por defecto", que incorpora razonamiento de Cadena de Pensamiento (CoT), ejemplos de pocos disparos (few-shot) (5 instancias aleatorias) y el inglés como idioma principal, aunque también se prueba el español. Para asegurar una comparación transnacional justa, se entrena un Random Forest in-sample para establecer un límite superior en la precisión de la predicción, sirviendo como línea base para normalizar el rendimiento del modelo frente a la predictibilidad inherente de los datos.

Métricas:

• Precisión (Accuracy): Mide la corrección de la predicción a nivel individual.
• Similitud de Jensen-Shannon (JSS): Mide la alineación global entre las distribuciones de probabilidad predichas y las reales (patrones a nivel de grupo).
• Igualdad de Precisión General: Un criterio de equidad que evalúa si la precisión de la predicción es igual entre grupos protegidos y no protegidos.
• Regresión Logística: Utilizada para analizar cómo variables socio-demográficas específicas (género, edad, educación, identidad política, etc.) y sus intersecciones influyen en la probabilidad de una predicción correcta.

Contribuciones Clave

1. Marco Novedoso: Introducción de un marco para medir sesgos socio-demográficos en LLM a través de diferentes contextos geográficos.
2. Evaluación Comparativa: Una comparación directa de las capacidades predictivas de los LLM utilizando preguntas políticas y morales comparables de Chile y los EE. UU.
3. Análisis de Mitigación de Sesgos: Un examen de las técnicas de prompting y estrategias de ajuste fino (fine-tuning) para abordar las disparidades de rendimiento.

Resultados

• Disparidades Geográficas: Los modelos superan consistentemente a los conjuntos de datos de EE. UU. en comparación con los de Chile en todas las métricas (Precisión y JSS). Esta brecha persiste incluso después de normalizar la predictibilidad de los datos, lo que indica un fuerte sesgo hacia los datos de entrenamiento centrados en EE. UU.
• Rendimiento de los Modelos: Llama-13b surgió como el modelo con mejor desempeño, superando a menudo el punto de referencia del Random Forest in-sample en la captura de tendencias a nivel poblacional (alto JSS), aunque todavía tuvo dificultades con la precisión a nivel individual en Chile. El ajuste fino (fine-tuning) con datos chilenos produjo solo mejoras marginales y, en algunos casos, introdujo sesgos de distribución.
• Sesgos Socio-Demográficos:
  • Chile: Se observaron sesgos significativos contra las mujeres, adultos mayores, personas con niveles educativos bajos y personas religiosas. La identidad política también jugó un papel importante, con las visiones centristas siendo menos precisamente predichas que las ideologías de izquierda o derecha fuertes. El análisis interseccional reveló que las mujeres mayores, religiosas y con baja educación enfrentaron la menor precisión de predicción.
  • Estados Unidos: El rendimiento fue más estable en cuanto a género y edad, pero mostró disparidades basadas en la identidad política (las visiones de tendencia de izquierda fueron predichas con mayor precisión) y los ingresos (los individuos de bajos ingresos fueron predichos con menor precisión). El análisis interseccional destacó un sesgo específico contra las mujeres no blancas.
• Predicción Individual vs. de Grupo: Mientras que los LLM demostraron una fuerte capacidad para replicar distribuciones a nivel macro (alto JSS), tuvieron dificultades para capturar los matices de las identidades socio-políticas individuales, lo que resultó en una menor precisión individual en comparación con las tendencias a nivel de grupo.

Significancia y Reivindicaciones
El artículo afirma que, si bien los LLM son herramientas poderosas para simular tendencias socio-políticas amplias, su despliegue actual en regiones subrepresentadas conlleva el riesgo de perpetuar inequidades debido a los sesgos en los datos de entrenamiento. El estudio sostiene que la naturaleza "centrada en EE. UU." de los corpus de pre-entrenamiento limita la generalizabilidad de estos modelos, haciéndolos menos efectivos en contextos como Chile, donde los matices culturales y lingüísticos difieren.

Los autores enfatizan que asegurar la equidad requiere ir más allá del despliegue genérico de modelos. Argumentan la necesidad de estrategias específicas para cada contexto, incluyendo la recolección de datos de entrenamiento más diversos y representativos, la incorporación de características socio-demográficas durante el ajuste fino y la aplicación de restricciones de equidad. El estudio concluye que abordar estas disparidades es esencial para la aplicación ética de la IA en la investigación de las ciencias sociales, asegurando que los modelos no desfavorezcan sistemáticamente a grupos socio-demográficos específicos o fallen en representar a poblaciones subrepresentadas.