Resumen Técnico: ¿Señal o Señal Espuria? Una Auditoría Aleatorizada de Metadatos de País-Encuesta en la Inferencia Social de LLM

Declaración del Problema

Los Modelos de Lenguaje Extensos (LLM) utilizan metadatos de grupo, como las etiquetas de país de una encuesta, para mejorar los pronósticos de respuestas individuales cuando dicha metadata contiene información poblacional genuina. Sin embargo, las mismas señales de metadatos pueden también redirigir los pronósticos cuando se asignan arbitrariamente, introduciendo potencialmente sesgos o correlaciones espurias. El desafío central abordado en este artículo es distinguir entre información (señales poblacionales válidas que mejoran la predicción) y movimiento impulsado por la señal (cambios en el pronóstico causados meramente por la presencia de una etiqueta, independientemente de su procedencia).

Los métodos de evaluación existentes —como comparar las salidas del modelo con distribuciones de opinión de grupos o probar prompts de personalidad— establecen brechas agregadas o sensibilidad al prompt, pero no logran aislar si una etiqueta de grupo específica tiene un efecto diferente cuando cambia la validez de su fuente. Este estudio investiga si la divulgación explícita del origen aleatorio e independiente del registro de una etiqueta de país reduce la tendencia del modelo a tratar esa etiqueta como una señal válida para la inferencia social.

Metodología

Diseño Experimental

El estudio emplea un diseño de auditoría dentro del mismo registro a través de cinco modelos de API fijos (DeepSeek-V4-Pro, Gemini-3.6-Flash, Mistral-Medium-3.5, GPT-5.4 y Qwen3.7-Max-2026-06-08), seis países (China, Francia, Gran Bretaña, Italia, Jordania, EE. UU.) y siete objetivos seleccionados para el desarrollo.

La fuente de datos es el conjunto de datos EVS/WVS 2017–2022, restringido a olas específicas para asegurar la cobertura de ítems comunes. El conjunto de datos se dividió en conjuntos de referencia, desarrollo, piloto y evaluación.

• Tarea: Los modelos reciben diez respuestas observadas de un registro anónimo y deben predecir respuestas enmascaradas para una pregunta objetivo.
• Políticas de Metadatos: Se probaron cuatro condiciones:
  • M0 (Línea Base): Sin campo de país.
  • MO (Aleatorio Opaco): Muestra una etiqueta de país $T$ extraída uniformemente de los seis candidatos, sin divulgar su origen.
  • MR (Aleatorio Divulgado): Muestra la misma etiqueta $T$ pero establece explícitamente: "Cada candidato fue seleccionado con igual probabilidad, independientemente del registro de la encuesta de origen".
  • MV (Verificado): Muestra el país real de la encuesta del registro de origen, identificado como la ubicación de la recolección.

Métricas de Evaluación

El estudio separa la dirección (movimiento) de la consecuencia (utilidad predictiva):

1. Movimiento Dirigido por el País ($\beta$): Mide si el cambio de pronóstico inducido por una condición de metadatos se alinea con el contraste poblacional real observado en registros humanos independientes para ese país. Un $\beta$ positivo indica que el modelo movió su pronóstico en la dirección de la distribución real del país mostrado.
2. Consecuencia de Retención (Pérdida de Brier): Mide si el cambio de pronóstico predice mejor la respuesta humana enmascarada.
   • Utilidad Verificada ($U_V$): La reducción en la pérdida de Brier al usar metadatos verificados ($MV$) frente a la ausencia de metadatos ($M0$).
   • Arrepentimiento de Etiqueta Aleatoria ($R_X$): El aumento en la pérdida de Brier al usar etiquetas aleatorias opacas ($MO$) o divulgadas ($MR$) frente a la ausencia de metadatos.

Paneles

• Panel Primario (Registro de 72 elementos separado): Contiene 72 registros distintos que cubren los siete objetivos bajo un protocolo corregido.
• Panel Secundario (Registro de 504 elementos): Contiene 504 registros distintos pero aplica cobertura válida específica por objetivo: utiliza los 504 registros para dos objetivos no afectados por la redacción, mientras que utiliza pronósticos corregidos de un subconjunto equilibrado de 72 registros de esos mismos 504 registros para los cinco objetivos afectados por la redacción.

Resultados Clave

1. La Divulgación No Atenúa la Captación de Etiquetas Aleatorias

Contrario a la hipótesis de que la transparencia reduce la dependencia de la señal, la divulgación de la naturaleza aleatoria de una etiqueta de país no redujo significativamente la tendencia del modelo a mover sus pronósticos en la dirección de dicho país.

• Movimiento: Tanto las etiquetas opacas ($MO$) como las de origen aleatorio divulgado ($MR$) produjeron un movimiento significativo dirigido por el país en el panel primario (72 registros) ($\beta_O = 0.214$, $\beta_R = 0.214$). En el panel secundario (504 registros), los valores fueron $\beta_O = 0.261$ y $\beta_R = 0.218$.
• Atenuación: La diferencia entre el movimiento opaco y el de origen aleatorio divulgado ($A = \beta_O - \beta_R$) fue efectivamente cero ($0.0003$) en el panel primario con un intervalo de confianza del 95% de $[-0.0157, 0.0166]$. El estudio no logró rechazar la hipótesis nula de que la divulgación no tiene efecto sobre la captación.

2. Los Metadatos Verificados Mejoran la Precisión Predictiva

Cuando la etiqueta de país fue verificada (país real de la encuesta), proporcionó un valor predictivo genuino.

• Utilidad: La política de país verificado ($MV$) redujo la pérdida de Brier retenida en $0.040$ (IC 95% $[0.024, 0.056]$) en comparación con la línea base en el panel primario. Este resultado fue estadísticamente significativo ($p < 0.001$).
• Arrepentimiento: Las etiquetas aleatorias (tanto opacas como divulgadas) generalmente no incurrieron en un daño predictivo promedio significativo (los intervalos de arrepentimiento a menudo incluían cero), aunque el modelo Qwen mostró un arrepentimiento significativo para la condición opaca.

3. Divergencia de Dirección y Consecuencia

El estudio observó una asimetría conductual: los pronósticos se movieron en la dirección del contraste poblacional del país mostrado (incluso cuando la etiqueta era aleatoria y se divulgó como tal) sin necesariamente incurrir en un daño predictivo promedio detectable. Esto sugiere que la "captación de la señal" (movimiento direccional) y la "utilidad predictiva" (exactitud) son fenómenos distintos que no siempre se correlacionan.

Contribuciones Clave

1. Contraste de Procedencia: Un diseño experimental novedoso que mantiene fija la etiqueta de país mostrada mientras varía su procedencia divulgada (opaca vs. explícitamente aleatoria vs. verificada), aislando el efecto de la validez de la fuente.
2. Métricas Desacopladas: Un marco de evaluación que separa el movimiento direccional (alineación con anclajes poblacionales externos) de la consecuencia predictiva (pérdida de Brier contra respuestas humanas retenidas), evitando la confusión entre sesgo e inexactitud.
3. Corpus PROV-FORECAST: La publicación de un corpus estructurado por procedencia que contiene 14,400 distribuciones de probabilidad de nivel de ítem emparejadas, alineadas a través de cinco modelos y cuatro condiciones de metadatos.
4. Evidencia Empírica sobre la Divulgación: Evidencia de que, bajo el protocolo probado, la divulgación explícita de la independencia de una etiqueta aleatoria no atenúa de manera confiable la tendencia del modelo a utilizar esa etiqueta como una señal para la inferencia social.

Significado y Reivindicaciones

El artículo afirma proporcionar un diagnóstico "más estrecho" pero riguroso de cómo los LLM procesan la procedencia de los metadatos en tareas de inferencia social. No afirma que los modelos no puedan entender la procedencia en general, ni establece una teoría general del razonamiento de fuentes. En su lugar, demuestra que:

• Los metadatos verificados son útiles: Cuando el campo de país es verdadero, mejora la predicción en objetivos seleccionados por su valor incremental de país.
• La divulgación es insuficiente: Simplemente declarar que una etiqueta es aleatoria e independiente no detiene de manera confiable al modelo de usar esa etiqueta para desplazar su pronóstico hacia la distribución de la población asociada.
• Dirección $\neq$ Daño: Un modelo puede exhibir un fuerte movimiento dirigido por el país (potencialmente indicando estereotipación o dependencia de la señal) sin sufrir una disminución medible en su exactitud predictiva sobre los datos retenidos.

Los autores enfatizan que estos hallazgos son específicos del contrato de elicitación congelado (redacción en inglés fija, lotes de cinco preguntas, pronósticos de probabilidad) y de los objetivos específicos seleccionados por su alto valor de país. Advierten contra la generalización de estos resultados a todas las tareas de inferencia social o la suposición de que reflejan creencias culturales internas en lugar de distribuciones de salida. El estudio sirve como una auditoría conductual de un protocolo de metadatos específico más que como una evaluación de equidad causal.