Resumen Técnico: GPF-LIVENEWS

Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM) desplegados operan en entornos no estacionarios donde las versiones de los modelos, las capas de recuperación, los sistemas de seguridad y las entradas del mundo real evolucionan continuamente. Si bien las pruebas de sesgo estáticas (por ejemplo, CrowS-Pairs, BBQ) son útiles para comparaciones controladas, no logran capturar cómo los modelos enmarcan eventos emergentes nuevos para diferentes audiencias indicadas mediante prompts. Los fallos socialmente significativos en los sistemas generativos a menudo se manifiestan no como toxicidad explícita, sino como enmarcado diferencial: el mismo evento puede presentarse como un riesgo, una oportunidad o un problema de política dependiendo de la identidad demográfica especificada en el prompt. Los inventarios estáticos existentes no pueden detectar estos cambios porque no utilizan entradas frescas ni prompts estructurados a través de grupos de identidad.

Metodología: GPF-LIVENEWS

El artículo introduce GPF-LIVENEWS, un protocolo de evaluación en streaming y una instantánea de referencia diseñada para auditar el enmarcado condicionado por grupos en las salidas de LLM de texto abierto. La metodología consta de cuatro componentes principales:

1. Obtención y Expansión de Datos

• Entradas en Vivo: El sistema utiliza anclas de noticias frescas (titulares y descripciones breves) de los flujos en vivo de BBC y Reuters. Esto asegura que la evaluación se base en eventos actuales en lugar de referencias estáticas, potencialmente memorizadas.
• Marco de Prompt Generalizado (GPF): Cada elemento de noticias ($x$) se expande a través de una taxonomía de 42 etiquetas de identidad ($g$) que abarcan seis dimensiones demográficas (Raza/Etnia, Religión, Género/Sexualidad, Geografía, Socioeconómica, Política).
• Familias de Prompts: El marco aplica siete familias de prompts distintas ($c$) para consultar el mismo elemento de noticias desde diferentes ángulos interpretativos:
  • Impacto, Significado, Perspectiva Comunitaria, Visión del Mundo/Valores, Verificación de Sesgo, Política/Acción y Respuesta Emocional.
• Paquetes de Respuestas: Para cada modelo, elemento de noticias, dimensión demográfica y familia de prompts, el sistema genera un "paquete de respuestas" que consta de 42 respuestas condicionadas por identidad (por ejemplo, "Soy [Identidad]. ¿Cómo me afecta esta noticia?").

2. Métricas de Evaluación

En lugar de puntuar prompts individuales, el marco analiza el paquete de respuestas para detectar variación. Se calculan dos señales principales:

• Sensibilidad Semántica (Dispersión): Mide la distancia semántica par a par entre las respuestas para diferentes identidades dentro del mismo paquete. Utiliza incrustaciones de texto normalizadas para calcular qué tan lejos se alejan los significados de las respuestas cuando cambia la identidad. También se calcula una puntuación de enmarcado contrafactual corregida por ruido ($SCFS$) para asegurar que la variación exceda el ruido estocástico ordinario de generación.
• Disparidad de Sentimiento: Mide la separación en el registro emocional a través del paquete utilizando puntuaciones compuestas de VADER. Calcula el rango y la desviación absoluta media de las puntuaciones de sentimiento a través de las identidades para determinar si el tono emocional cambia significativamente según la audiencia indicada.

3. Controles y Validez

Para distinguir el enmarcado significativo de los artefactos de los prompts, el protocolo incluye:

• Controles sin identidad y de etiquetas aleatorias: Para detectar efectos de plantilla.
• Controles de generación repetida: Para estimar y restar el ruido estocástico.
• Controles de paráfrasis de prompts: Para probar la robustez ante la redacción.
• Noticias Estratificadas: Separación de temas neutrales en cuanto a identidad (por ejemplo, deportes) de temas relevantes para la identidad (por ejemplo, inmigración).

4. Configuración Experimental

El estudio piloto involucró 12 ejecuciones de monitoreo a lo largo de cuatro lotes de noticias, evaluando 23 modelos alojados de Anthropic, Google y OpenAI. El sistema generó aproximadamente 7.456 celdas puntuadas válidas.

Resultados Clave

El estudio arrojó varios patrones observados en la ventana, que los autores enfatizan que no son clasificaciones permanentes de equidad sino señales de auditoría para una rebanada de tiempo específica:

• Familias de Prompts: Los prompts de Política/Acción produjeron el movimiento semántico más fuerte (mayor sensibilidad), lo que indica que los modelos alteran significativamente su enmarcado respecto a las consecuencias y acciones basándose en la audiencia.
• Dimensiones Demográficas: Las dimensiones de Género/Sexualidad y Socioeconómica elicitaron la mayor sensibilidad semántica, mientras que la Religión y la Orientación Política mostraron menor variación.
• Semántica vs. Sentimiento: La variación semántica mostró una diferenciación clara a través de dimensiones y modelos, mientras que la disparidad de sentimiento se mantuvo relativamente plana y estrecha en todos los grupos. Esto sugiere que los modelos cambian qué enfatizan (significado) más que cómo se sienten (tono).
• Variabilidad del Modelo:
  • Los modelos de OpenAI mostraron la menor sensibilidad semántica promedio (0,041).
  • Los modelos de Google mostraron la mayor sensibilidad semántica promedio (0,056) y la mayor disparidad de sentimiento.
  • Los modelos de Anthropic se situaron en el medio.
• Estabilidad: Algunos modelos (por ejemplo, Gemini-3-flash-preview) demostraron alta estabilidad cruzada entre noticias (baja desviación estándar entre lotes), mientras que otros fluctuaron significativamente a medida que cambiaba la mezcla de noticias.

Contribuciones Clave

1. Protocolo GPF-LIVENEWS: Un marco de evaluación en streaming que audita el enmarcado condicionado por grupos utilizando entradas de noticias frescas y en vivo en lugar de referencias estáticas.
2. Análisis de Paquetes de Respuestas: Un cambio en la unidad de análisis desde prompts aislados hacia paquetes de respuestas condicionadas por identidad, permitiendo la medición del enmarcado diferencial.
3. Señales de Auditoría: La definición de sensibilidad semántica y disparidad de sentimiento como métricas complementarias para resumir la variación a nivel de significado y a nivel de tono entre grupos.
4. Artefacto Reproducible: El lanzamiento de una instantánea de referencia versionada (v1) que contiene metadatos de artículos, plantillas de prompts, prompts instanciados, metadatos de salida del modelo, tablas de puntuación y scripts de reproducción.

Significado y Afirmaciones

El artículo posiciona a GPF-LIVENEWS no como una solución a la equidad ni como una clasificación definitiva del sesgo de los modelos, sino como una interfaz de evaluación sociotécnica para el monitoreo continuo.

• Afirmaciones Modestas: Los autores declaran explícitamente que las puntuaciones altas indican enmarcado diferencial, no necesariamente sesgo dañino. Una puntuación alta significa que las respuestas variaron más entre identidades; no prueba que la variación sea socialmente inapropiada. Se requiere revisión humana para interpretar si la variación constituye estereotipos, adaptación cultural o diferencias legítimas en el impacto material.
• Utilidad: El marco está diseñado para identificar "puntos críticos" donde los auditores humanos deben centrar su revisión. Aborda el "objetivo móvil" de los LLM desplegados proporcionando un mecanismo para rastrear cómo cambia el comportamiento del modelo bajo condiciones del mundo real cambiantes.
• Extensibilidad: El diseño modular permite la adición de nuevas identidades, familias de prompts y fuentes de eventos sin alterar el pipeline central, convirtiéndolo en un concepto de prueba para una arquitectura de evaluación más amplia y continua para la alineación y el impacto social en entornos no estacionarios.