Resumen Técnico: Prompting Demográfico a Escala: Cuando más atributos perjudican

Planteamiento del Problema

Los Grandes Modelos de Lenguaje (LLMs) se están desplegando cada vez más como sustitutos o complementos de los anotadores humanos para tareas de PLN subjetivas (p. ej., detección de toxicidad, análisis de sentimiento). Aunque la investigación previa ha establecido que los resultados de los LLMs no son demográficamente neutros y que las pistas demográficas explícitas pueden alterar el comportamiento del modelo, el campo carece de una comprensión sistemática de cómo funcionan estas pistas. La literatura existente típicamente compara una línea base de "sin demografía" contra un único prompt de "todos los atributos" o examina solo uno o dos atributos específicos de forma aislada. Este enfoque no logra explorar el espacio combinatorio entre los conjuntos de atributos individuales y los completos, dejando preguntas críticas sin respuesta:

1. ¿Existe un número óptimo de atributos demográficos para incluir en un prompt, o añadir más siempre mejora la alineación?
2. ¿Qué propiedades de la señal demográfica de un conjunto de datos predicen si un atributo específico mejorará o degradará la alineación del LLM?
3. ¿Cómo procesan internamente estos atributos los LLMs, y la mayor activación neuronal se correlaciona con una mejor alineación?

Metodología

Los autores llevaron a cabo un estudio exhaustivo a través de cinco tareas de comprensión de lenguaje subjetivo (Toxicidad, Sentimiento, Cortesía, Ofensividad, Atribución de Emoción) y cinco LLMs de código abierto (Llama-3.2-3B, Mistral-7B, Gemma3-12B, Qwen2.5-7B, DeepSeek-R1-7B).

Diseño Experimental

• Prompting Combinatorio: El estudio enumeró sistemáticamente cada combinación posible de atributos demográficos para cada tarea, variando desde prompts de un solo atributo hasta el conjunto completo de atributos disponibles. Esto permitió mapear las trayectorias de alineación desde configuraciones de un solo componente hasta configuraciones de atributos completos.
• Métricas de Alineación: La alineación modelo-humano se cuantificó mediante el coeficiente kappa de Cohen ponderado cuadráticamente (para tareas ordinales) y precisión (para tareas no ordinales), medido frente a las anotaciones humanas.
• Análisis de la Señal del Lado del Conjunto de Datos: Para entender por qué ciertos atributos funcionan, los autores analizaron los datos de anotación en sí mismos utilizando tres niveles de detalle estructural:
  1. Magnitud: Utilizando valores SHAP en un clasificador de Regresión Logística para medir la influencia de los atributos demográficos en la variación de las etiquetas humanas.
  2. Aprendibilidad (Learnability): Entrenando un LinearSVC con características explícitas de interacción palabra-demografía para determinar si el modelo puede aprender patrones léxicos discriminativos para subgrupos específicos.
  3. Coherencia Direccional: Calculando las correlaciones de Spearman promediadas por Fisher entre los vectores de pesos de diferentes subgrupos dentro de un atributo. Una correlación positiva indica que los subgrupos coinciden en qué palabras señalan la etiqueta (coherente); una negativa indica señales opuestas (incoherente).
• Sondeo de Neuronas (Neuron Probing): Adaptando marcos de interpretabilidad, los autores identificaron "neuronas especializadas" (aquellas activadas por un prompt demográfico pero no por un prompt base). Midieron la proporción de neuronas especializadas y la correlacionaron con el rendimiento de la alineación para probar si el compromiso interno se traduce en una mejor salida.

Contribuciones Clave

1. Análisis Combinatorio Completo: El artículo es el primero en enumerar sistemáticamente todas las combinaciones de atributos a través de múltiples tareas y modelos. Establece que el prompting demográfico no es monolítico; su utilidad es altamente dependiente del contexto.
2. Marco de Señal de Tres Niveles: Los autores proponen un marco de diagnóstico que vincula la señal del lado del conjunto de datos con la alineación del LLM. Demuestran que la magnitud de la influencia demográfica en las etiquetas humanas es poco informativa para predecir la alineación del LLM. En su lugar, la alineación exitosa requiere una consideración conjunta de la aprendibilidad y la coherencia direccional.
3. Aplicación de Sondeo de Neuronas: Este trabajo es el primero en aplicar el sondeo de neuronas a la alineación demográfica en tareas subjetivas. Revela que la activación de neuronas especializadas se correlaciona con las ganancias de alineación solo cuando la señal de anotación subyacente es direccionalmente coherente.

Resultados Clave

1. El Umbral de Sobreespecificación (RQ1)

Contrario a la intuición de que "más información es mejor", la alineación consistentemente alcanza su punto máximo con uno a tres atributos de alta señal y se degrada cuando se proporciona el conjunto completo de atributos.

• Toxicidad: Cuatro de cinco modelos alcanzaron el pico de alineación con conjuntos compactos (1–3 atributos). La configuración de "todos juntos" nunca superó al mejor prompt compacto y a menudo causó una degradación significativa.
• Cortesía y Ofensividad: Estas tareas mostraron una amplia resistencia al prompting demográfico. Para la mayoría de los modelos, añadir atributos degradó el rendimiento en relación con la línea base.
• Emoción: Los resultados fueron altamente polarizados; mientras que Mistral y Qwen se beneficiaron significativamente de los prompts basados en la edad, Gemma y DeepSeek se vieron degradados por cada prompt demográfico.

2. El Rol de la Coherencia Direccional (RQ2)

El estudio encontró que la magnitud de la influencia de un atributo demográfico en las etiquetas humanas (importancia SHAP) no predice la alineación del LLM.

• Aprendibilidad vs. Coherencia: Si bien la aprendibilidad (LSVC $\kappa$) es un mejor predictor que la magnitud, es insuficiente por sí sola.
• El Mecanismo de Coherencia: Los atributos con señales direccionalmente coherentes (los subgrupos coinciden en los patrones léxicos) permiten ganancias de alineación. Por el contrario, los atributos con señales opuestas (los subgrupos discrepan sobre qué palabras indican la etiqueta) causan que la alineación se degrade, incluso si el atributo es altamente aprendible por un clasificador.
  • Ejemplo: En la tarea de Ofensividad, la edad fue el atributo más aprendible pero causó la peor alineación porque los subgrupos mantenían visiones opuestas. La raza, que tuvo menor aprendibilidad pero mayor coherencia para modelos específicos, fue el único atributo que mejoró la alineación.

3. Sondeo de Neuronas y la Paradoja del Alto Volumen (RQ3)

• Soporte Selectivo: En la tarea de Toxicidad, modelos como Llama y Qwen mostraron una correlación positiva entre la proporción de neuronas especializadas activadas y las ganancias de alineación, pero solo para atributos con señales direccionalmente coherentes.
• La Paradoja del Alto Volumen: DeepSeek-R1 activó el mayor volumen de neuronas especializadas en todas las tareas, pero consistentemente funcionó mejor con ningún prompt demográfico. Esto sugiere que un alto volumen de activación no equivale a un compromiso útil del conocimiento; puede reflejar, en cambio, una perturbación representacional amplia y no diferenciada.

Significación y Reivindicaciones

El artículo argumenta que el prompting demográfico no es una intervención monolítica. Su efectividad está estrictamente condicionada por:

1. Calidad de la Señal del Atributo: Específicamente, la coherencia direccional de la señal de anotación.
2. Características de la Tarea: Algunas tareas (p. ej., Toxicidad) son susceptibles al prompting demográfico, mientras que otras (p. ej., Cortesía) son resistentes.
3. Arquitectura del Modelo: Diferentes modelos responden de manera distinta a las mismas pistas (p. ej., Gemma vs. DeepSeek en Emoción).

Los autores concluyen que la selección de atributos basada en principios es esencial. Los profesionales deben evitar los prompts de "todos los atributos" y, en su lugar, seleccionar 1–3 atributos que exhiban una alta coherencia direccional. Enfatizan que la alta aprendibilidad por sí sola es una condición necesaria pero insuficiente; si los subgrupos discrepan direccionalmente, ningún prompt de persona único puede satisfacer las demandas conflictivas, lo que conduce a una degradación del rendimiento.

El estudio señala modestamente sus limitaciones, incluyendo su alcance exclusivo para el inglés, las escalas de parámetros específicas de los modelos probados y la naturaleza correlacional del análisis de neuronas, que identifica asociaciones en lugar de probar mecanismos causales.