Resumen Técnico: Los Modelos de Lenguaje de Gran Escala Predicen con Precisión las Percepciones Públicas del Apoyo a la Acción Climática en Todo el Mundo

Planteamiento del Problema

Abordar el cambio climático requiere cambios coordinados tanto en el comportamiento individual como en las políticas sistémicas. Si bien las encuestas de opinión global indican un amplio apoyo a la acción climática (por ejemplo, un 69% de disposición a contribuir con el 1% de los ingresos), los esfuerzos de mitigación reales siguen siendo insuficientes. Una barrera principal identificada en la investigación multidisciplinaria es la ignorancia pluralista: los individuos subestiman sistemáticamente el nivel de apoyo y la disposición para actuar entre sus pares. Estas percepciones erróneas (creencias de segundo orden) suprimen el apoyo expresado y la acción a través de mecanismos de cooperación condicional, creando una espiral de inacción que se perpetúa a sí misma.

Corregir estas brechas requiere mapas de discrepancia de percepción globales y oportunos. Sin embargo, generar tales datos es logísticamente desafiante y costoso, ya que requiere medidas pareadas de actitudes personales y percibidas de muestras representativas en diversas naciones. Este estudio investiga si los Modelos de Lenguaje de Gran Escala (LLM) pueden servir como una alternativa o complemento escalable y rentable a las encuestas tradicionales para mapear estas brechas de percepción en todo el mundo.

Metodología

Datos y Verdad de Referencia (Ground Truth)

El estudio utiliza datos de la Encuesta Global sobre el Cambio Climático (parte de la Gallup World Poll 2021/22), que cubre 125 países con aproximadamente 129,902 encuestados.

• Variable de Resultado: La "brecha de percepción", definida como la diferencia entre el promedio nacional de la disposición personal a contribuir financieramente a la acción climática (creencia de primer orden) y la disposición percibida de los demás (creencia de segundo orden).
• Covariables: Los indicadores sociodemográficos (edad, educación, religiosidad), macroeconómicos (PIB per cápita, desigualdad, IDH) y climáticos (temperatura promedio) a nivel de país fueron agregados a partir de los datos del Banco Mundial y Gallup.

Diseño Experimental

Los autores realizaron un experimento preregistrado (OSF: ez4ur) comparando cuatro LLM de vanguardia contra líneas de base estadísticas:

1. Modelos Evaluados: GPT-4o mini, Claude 3.5 Haiku, Gemini 2.5 Flash y Llama 4 Maverick (17B).
2. Protocolo de Prompting: Los modelos fueron consultados bajo ocho etapas secuenciales de información (Etapa 1 a Etapa 8), que van desde proporcionar solo el nombre del país hasta proporcionar el conjunto completo de datos sociodemográficos, económicos, climáticos y de disposición de primer orden.
3. Tarea: Se instruyó a los modelos para que estimaran el porcentaje de encuestados en un país determinado que creen que otros están dispuestos a contribuir con el 1% de sus ingresos a la acción climática, basándose estrictamente en los datos contextuales proporcionados.
4. Benchmarks: El rendimiento de los LLM se comparó contra:
   • Verdad de Referencia: Las brechas de percepción reales derivadas de la encuesta.
   • Modelos Estadísticos: Regresiones de Mínimos Cuadrados Ordinarios (OLS) y Lasso entrenadas con el 80% de los países y evaluadas en un conjunto de control del 20%.

Pruebas Diagnósticas y Mecanísticas

Para distinguir entre inferencia estructurada y memorización de los datos de entrenamiento, los autores emplearon varias pruebas diagnósticas:

• Ablación de Características: Eliminación sistemática de variables de entrada específicas (por ejemplo, eliminar la disposición personal, el PIB o la demografía) para medir el impacto en el error de predicción.
• Perturbaciones Contrafácticas:
  • Inversión de Disposición: Intercambio de valores de alta/baja disposición personal entre países.
  • Discrepancia de Nombre: Asignar el nombre de un país a un perfil de datos de un país diferente.
  • Inversión de PIB: Invertir los valores del PIB entre países.
• Pruebas de Robustez: Pruebas a través de diferentes formatos de prompt (viñetas frente a oraciones) y generalización a 24 brechas de percepción de políticas climáticas alternativas en EE. UU.

Resultados Clave

Precisión Predictiva

• Mejores Desempeños: Claude 3.5 Haiku y Llama 4 Maverick demostraron la mayor precisión.
  • Claude: Logró un Error Absoluto Medio (MAE) de 4.60 puntos porcentuales (p.p.) y una correlación ($r$) de 0.77 con la verdad de referencia, desempeñándose de manera comparable a los modelos OLS (MAE 4.79) y Lasso (MAE 4.66).
  • Llama: Mostró un desempeño similar con un MAE de 7.00 p.p. y $r = 0.67$.
• Peores Desempeños: GPT-4o mini y Gemini 2.5 Flash exhibieron errores significativamente mayores (MAE > 13 p.p. y 14 p.p., respectivamente) y correlaciones más bajas. El desempeño de Gemini fue particularmente pobre ($r = 0.15$), probablemente debido a filtros de seguridad o limitaciones específicas del modelo.
• Patrón Global: Todos los modelos capturaron la estructura espacial general de las brechas de percepción, siendo las subestimaciones más severas en América Latina, África Occidental y el sur de Asia, y menores en Europa Occidental.

Predictores Estructurales de la Precisión

La precisión de la predicción no fue uniforme; se correlacionó fuertmente con indicadores estructurales de disponibilidad de información:

• Penetración de Internet y PIB: Los modelos funcionaron significativamente mejor en países con mayor penetración de internet y PIB per cápita ($R^2$ en rangos de 0.08–0.27).
• Sesgo: Esto sugiere un sesgo de representación en los datos de entrenamiento, donde los LLM son más fiables en naciones con más recursos y conectividad digital, y menos precisos en entornos más pobres o menos conectados.

Perspectivas Mecanísticas

• Proyección Social: Los mejores modelos (Claude, Llama) identificaron correctamente la disposición personal (creencia de primer orden) como el predictor más fuerte de la disposición percibida (creencia de segundo orden), reflejando el proceso psicológico humano de proyección social.
• Razonamiento vs. Memorización:
  • Ablación: Eliminar los datos de disposición personal aumentó los errores para Claude y Llama en aproximadamente 1.5–2.2 p.p., confirmando la dependencia de esta característica.
  • Contrafácticos: Intercambiar nombres de países o valores de PIB tuvo efectos insignificantes en los mejores modelos, lo que indica que dependen del razonamiento estructural de las características proporcionadas en lugar de recuperar estadísticas memorizadas de países específicos.
  • Exposición a Datos de Entrenamiento: Aunque algunos modelos fueron entrenados después de la publicación de los datos de la encuesta, el patrón de errores (que varía según el entorno de información, no es uniforme) y el hecho de que el modelo entrenado más recientemente (Gemini) no fuera el mejor, argumentan en contra de una pura memorización.

Significancia y Reivindicaciones

El artículo afirma que los LLM, particularmente Claude y Llama, proporcionan una herramienta rápida y rentable para evaluar las brechas de percepción globales respecto a la acción climática. La significancia de estos hallazgos se enmarca de la siguiente manera:

1. Escalabilidad: Los LLM pueden mapear las brechas de percepción en 125 países con una precisión comparable a los modelos estadísticos tradicionales, ofreciendo una alternativa viable a las encuestas a gran escala, que son costosas y logísticamente difíciles.
2. Intervención Dirigida: Al identificar dónde son mayores las brechas de percepción (por ejemplo, regiones específicas en África y Asia), los LLM pueden ayudar a los gobiernos y ONGs a priorizar dónde los esfuerzos de corrección de la percepción son más urgentes y probablemente efectivos.
3. Rol Complementario: Los autores posicionan modestamente a los LLM no como un reemplazo total de las encuestas, sino como un mecanismo complementario. Pueden permitir el seguimiento rentable en entornos ricos en información y proporcionar señales provisionales en entornos con escasez de recursos, guiando dónde se deben desplegar los recursos de medición directa.
4. Validez Mecanística: El estudio demuestra que los LLM pueden participar en un razonamiento de segundo orden complejo ("Yo creo que tú crees") y capturar el mecanismo psicológico de la proyección social con un sesgo de subestimación sistemático, siempre que estén condicionados con datos estructurales y actitudinales relevantes.

Los autores concluyen que, si bien existen limitaciones con respecto a la granularidad subnacional y el desempeño en regiones con baja conectividad, el mapeo de la percepción basado en LLM representa un avance significativo en la ciencia social computacional para el diseño de políticas climáticas.