Resumen Técnico: ¿Qué ayuda a los modelos de lenguaje a predecir las creencias humanas: la demografía o las posturas previas?

Planteamiento del problema

A medida que los Modelos de Lenguaje de Gran Escala (LLM) se vuelven ubicuos, su capacidad para comprender y razonar sobre las creencias humanas tiene implicaciones significativas para la privacidad, la persuasión personalizada y los estereotipos. Si bien las creencias forman redes complejas e interrelacionadas moldeadas por dependencias lógicas y procesos sociales, sigue sin estar claro cómo los LLM estándar capturan esta estructura correlacional. Específicamente, al predecir la postura de un individuo ante una nueva proposición, no se sabe si la información demográfica (quién es) o las posturas expresadas previamente (qué más cree) proporcionan un mayor valor predictivo, o si una combinación de ambos es óptima. Los benchmarks existentes suelen centrarse en contextos sociopolíticos estrechos o dependen del ajuste fino (fine-tuning), lo que deja un vacío en la comprensión de cómo los modelos base aprovechan la información social sin una adaptación específica para la tarea.

Metodología

El estudio evalúa las capacidades de predicción de creencias de nueve LLM de pesos abiertos (que oscilan entre 3B y 14B de parámetros) utilizando un conjunto de datos derivado de Debate.org (DDO), que abarca desde octubre de 2007 hasta septiembre de 2018.

Construcción de los datos

• Fuente: El conjunto de datos DDO proporciona la demografía de los usuarios, temas de debate con argumentos opuestos y votos de postura del usuario ("de acuerdo" o "en desacuerdo").
• Extracción de creencias: Los votos de postura se combinaron con los títulos de los debates para generar declaraciones de creencias estructuradas (p. ej., "Estoy de acuerdo con lo siguiente: [Tema]"). Se utilizó GPT-4 para filtrar aquellos títulos que no podían interpretarse como creencias humanas coherentes.
• Preprocesamiento: Se excluyeron los usuarios con menos de cinco declaraciones de creencias totales. Los datos se dividieron cronológicamente para cada usuario: el 80% más antiguo sirvió como creencias de contexto (entrenamiento), y el 20% restante como creencias de prueba. Para evitar la fuga de datos (data leakage), se eliminaron las creencias de contexto con una similitud de coseno >0.8 respecto a las creencias de prueba (vía Sentence-BERT).
• Conjunto de datos final: 119,118 declaraciones de creencias únicas de 5,775 usuarios únicos.

Diseño experimental

La tarea se enmarcó como una clasificación binaria (predicción de "de acuerdo" o "en desacuerdo") bajo cuatro condiciones informativas distintas:

1. Ciego (Blind): Sin información del usuario (dependiendo únicamente de los sesgos previos a nivel poblacional).
2. Solo Demografía: Atributos del usuario (edad, género, etnia, ingresos, ideología política/religiosa, etc.).
3. Solo Creencias de Contexto: Las posturas expresadas previamente por el usuario.
4. Combinado: Tanto la demografía como las creencias de contexto.

Implementación

• Modelos: Se evaluaron nueve modelos de pesos abiertos, incluyendo variantes de DeepSeek R1 Distill, Gemma 3, Llama 3.1/3.2, Mistral, Phi-4 y Qwen3.
• Prompting: El estudio utilizó DSPy para la ingeniería de prompts estructurados, incorporando el razonamiento de Cadena de Pensamiento (CoT) para generar pasos intermedios antes de la predicción binaria final.
• Evaluación: El rendimiento se midió utilizando puntuaciones de F1 macro. Los resultados se agregaron mediante dos métodos: la media de las puntuaciones individuales y un voto de mayoría (ensamble) entre todos los modelos.

Resultados clave

El estudio revela que, si bien tanto la demografía como las creencias previas mejoran la predicción respecto al baseline ciego, su utilidad relativa varía significativamente según el dominio de la creencia. Los resultados categorizan los dominios de creencias en tres grupos distintos basados en la condición de entrada óptima:

1. Grupo 1 (Demografía + Creencias): Categorías como Religión, Política y Sociedad funcionan mejor cuando se proporcionan ambos tipos de información. Para estos dominios vinculados a la identidad, el rendimiento generalmente mejora en el orden: Ciego → Demografía → Contexto de Creencias → Combinado.
2. Grupo 2 (Solo Creencias de Contexto): Dominios idiosincrásicos como Deportes, Entretenimiento, Autos y Lugares/Viajes alcanzan su máximo rendimiento solo con las creencias de contexto. En estas categorías, añadir información demográfica suele degradar el rendimiento en comparación con el uso de las creencias previas, aunque la demografía sigue superando al baseline ciego.
3. Grupo 3 (Solo Demografía): Un conjunto más pequeño de categorías funciona mejor con la demografía sola, aunque el orden de las otras condiciones varía.

Hallazgos cuantitativos:

• Rendimiento general: La condición combinada produjo la puntuación F1 macro más alta para 8 de los 9 modelos. El mejor modelo, Phi-4, alcanzó una puntuación de 63.5% en la condición combinada.
• Ganancias relativas: En promedio, la demografía mejoró el baseline ciego en 6 puntos porcentuales, las creencias de contexto en 6.5 puntos, y la condición combinada en 7.8 puntos.
• No monotonicidad: Añadir una segunda fuente de información no siempre mejora la precisión. En algunos casos (p. ej., "Gracioso" o "Música"), la demografía funcionó peor que el baseline ciego, y añadir demografía a las creencias de contexto redujo la precisión en dominios específicos.
• Rendimiento del ensamble: La agregación por voto de mayoría superó consistentemente a la agregación por media, lo que sugiere que los diferentes modelos cometen errores complementarios.

Significación y Reivindicaciones

El artículo afirma avanzar en la comprensión de cómo los LLM estándar razonan sobre las creencias humanas sin un ajuste fino específico para la tarea. Las contribuciones e implicaciones clave incluyen:

• Razonamiento específico de dominio: Los hallazgos sugieren que los LLM aprovechan diferentes tipos de información social dependiendo de la naturaleza de la creencia. Las creencias estrechamente vinculadas con la identidad social (Política, Religión) dependen fuertemente de los sesgos demográficos, mientras que las preferencias idiosincrásicas (Deportes, Entretenimiento) dependen más de la historia individual (posturas previas).
• Sistemas de creencias coherentes: La variación en la precisión respalda el concepto teórico de sistemas de creencias coherentes. Los LLM funcionan mejor en dominios donde las creencias forman redes densamente interconectadas y mutuamente reforzadas (p. ej., Religión, Ciencia) y tienen más dificultades donde las asociaciones son más laxas.
• Limitaciones de los modelos actuales: A pesar de las mejoras, la precisión absoluta sigue siendo moderada. El artículo atribuye este techo a la inconsistencia en los datos de los usuarios (inconsistencia entre las posturas registradas y las creencias reales), las brechas temporales en el conjunto de datos (2007–2018) y los sesgos inherentes en los corpus de entrenamiento que pueden privilegiar los puntos de vista mayoritarios.
• Consideraciones éticas: La capacidad de inferir actitudes a partir de pistas limitadas conlleva riesgos respecto a la privacidad y los estereotipos. Los autores advierten que las inferencias excesivamente confiadas podrían malinterpretar a los individuos, enfatizando la necesidad de transparencia sobre la incertidumbre y límites claros en el despliegue de herramientas de predicción de creencias.

El estudio concluye que, si bien los LLM pueden aprovechar eficazmente la información social para predecir creencias, su rendimiento no es uniforme y está profundamente influenciado por la coherencia estructural del dominio de la creencia y el tipo específico de señal social proporcionada. Se requiere trabajo futuro para establecer baselines humanos y explorar la direccionalidad de la inferencia de creencias a través de diferentes dominios.