POLAR:A Per-User Association Test in Embedding Space

Aquí presento un resumen técnico detallado del artículo "POLAR: A Per-User Association Test in Embedding Space", estructurado según los puntos solicitados.

1. El Problema: La Limitación de las Pruebas de Asociación Agregadas

El campo de la lingüística computacional y las ciencias sociales ha utilizado ampliamente pruebas de asociación intrínsecas (como WEAT o SEAT) para medir sesgos y estereotipos en modelos de lenguaje. Sin embargo, estas metodologías tradicionales operan a nivel de palabra, oración o corpus completo.

• La Limitación: Al agregar los datos de múltiples autores en un solo vector o puntuación promedio, se pierde la heterogeneidad individual. Esto puede llevar a la falacia ecológica, donde un efecto consistente a nivel individual se diluye, enmascara o incluso invierte al promediarse.
• La Brecha: No existía una metodología que aplicara directamente pruebas de asociación calibradas a vectores de usuarios individuales. Las representaciones de usuarios (embeddings) se han vuelto comunes en sistemas de recomendación y detección de bots, pero no se han utilizado como objetos de análisis primario para medir sesgos o alineación semántica específica por autor.

2. Metodología: POLAR (Per-user On-axis Lexical Association Report)

POLAR es una prueba de asociación léxica por usuario que opera directamente en el espacio de incrustaciones (embedding space) de un modelo de lenguaje enmascarado (MLM) ligeramente adaptado. El pipeline consta de dos fases principales:

A. Fase 1: Entrenamiento y Tokenización de Usuarios

1. Tokenización Determinista: Cada autor $u$ se mapea a un token privado y determinista mediante una función hash (ej. usr + SHA1 del ID). Este token se añade al vocabulario del tokenizador.
2. Adaptación del Modelo: Se utiliza un modelo base (BERT-base-uncased) y se ajusta su matriz de incrustaciones para incluir estos nuevos tokens de usuario.
3. Entrenamiento con Máscara Específica: El modelo se entrena con una tarea de lenguaje enmascarado (MLM). Se aplica una estrategia de enmascaramiento diferenciado:
   • Los tokens de usuario se enmascaran con mayor frecuencia para forzar al modelo a aprender representaciones que capturen el contexto lingüístico típico del autor.
   • Se incluye un término de alineación que empuja el vector del token de usuario hacia la media de los tokens de texto de sus publicaciones, asegurando que el vector resuma el contexto lingüístico del autor.
4. Resultado: Cada usuario $u$ queda representado por un vector compacto $\hat{e}_u$ (la incrustación normalizada de su token).

B. Fase 2: Inferencia y Cálculo de Asociación

1. Ejes Semánticos: Se definen pares de conjuntos de atributos léxicos $(A, B)$ que representan ejes semánticos opuestos (ej. "Seguridad de armas" vs. "Derechos de armas", o "Insultos raciales" vs. "Neutro").
2. Proyección: Se calcula la similitud de coseno entre el vector del usuario $\hat{e}_u$ y los vectores de los conjuntos $A$ y $B$.
3. Estadístico de Efecto Estandarizado: Se define una puntuación $s(u; A, B)$ que mide el desplazamiento del usuario a lo largo del eje:
   $$s(u; A, B) = \frac{\text{mean}(d_A) - \text{mean}(d_B)}{\text{sd}(d_{all})}$$
   Donde $d_A$ y $d_B$ son las similitudes con los conjuntos de atributos. El numerador es la proyección del vector del usuario sobre el eje semántico, y el denominador estandariza la escala.
4. Validación Estadística:
   • Prueba de Permutación: Se calcula un valor $p$ mediante permutaciones de Monte Carlo (re-etiquetado aleatorio de los atributos) para determinar si la asociación observada es significativa.
   • Control de Falsos Descubrimientos: Se aplica el procedimiento de Benjamini-Hochberg para controlar la tasa de falsos descubrimientos (FDR) dado el gran número de pruebas realizadas sobre múltiples usuarios y ejes.

3. Contribuciones Clave

1. Primer Test de Asociación por Autor: POLAR es la primera metodología que trata los vectores de usuario como objetos de primer nivel para pruebas de asociación calibradas, permitiendo diagnosticar sesgos y alineaciones a nivel individual sin necesidad de etiquetas externas.
2. Interpretabilidad Geométrica: Al operar en el mismo espacio de incrustaciones que el modelo de lenguaje, la magnitud y el signo de la puntuación $s$ son directamente interpretables: indican hacia qué lado de un eje semántico se alinea un usuario y cuánto se alinea.
3. Modularidad: El método es agnóstico a los conjuntos de atributos. Se pueden añadir o modificar ejes semánticos sin reentrenar el modelo, solo reutilizando los vectores de usuario aprendidos.
4. Código Abierto: Se proporciona una implementación completa y reproducible.

4. Resultados Experimentales

El método se evaluó en dos corpus con regímenes sociolingüísticos distintos:

A. Benchmark Bot-Humano en Twitter (fox8-23)

• Objetivo: Verificar si POLAR puede distinguir entre cuentas generadas por LLM (bots) y cuentas humanas orgánicas basándose en diferencias de registro.
• Hallazgos:
  • POLAR separa limpiamente a los bots de los humanos en múltiples ejes (ej. "Noticias" vs. "Experiencia Personal", "Estafas/Finanzas" vs. "Vida Diaria") sin usar etiquetas durante el entrenamiento.
  • Los bots muestran una fuerte alineación con marcadores de "lenguaje de bot" (descargos de responsabilidad, estructuras instruccionales), mientras que los humanos se alinean con marcadores conversacionales.
  • Un clasificador logístico simple entrenado solo con las puntuaciones de POLAR alcanzó un AUROC > 0.96, superando a baselines que usan promedios de embeddings [CLS] o puntuaciones de toxicidad agregadas.

B. Foro Extremista (Stormfront)

• Objetivo: Cuantificar la alineación con léxicos de odio y detectar la deriva ideológica.
• Hallazgos:
  • Alineación con Discurso de Odio: Los usuarios mostraron una alineación positiva fuerte y significativa con conjuntos de palabras que incluyen insultos raciales, de género, LGBTQ+ y jerga de "incel", en comparación con sus contrapartes neutrales.
  • Deriva Radicalizadora: Al analizar la evolución temporal de las puntuaciones de usuarios individuales a medida que publicaban más contenido, se observó una deriva derecha (hacia la alineación con insultos) consistente. Esto sugiere que la participación continua en el foro correlaciona con una mayor alineación léxica con el discurso de odio, sirviendo como un indicador temprano de radicalización progresiva.
  • La heterogeneidad dentro del grupo fue visible: no todos los usuarios tenían el mismo grado de alineación, lo cual se perdería en un análisis agregado.

5. Significado e Impacto

• Para las Ciencias Sociales Computacionales: POLAR proporciona una herramienta diagnóstica concisa y estadísticamente fundamentada para analizar la heterogeneidad dentro de las comunidades en línea. Permite distinguir si un estereotipo es una propiedad del corpus en general o si está concentrado en subgrupos específicos de autores.
• Para la Seguridad y Moderación: Ofrece una señal interpretable y libre de etiquetas para detectar cuentas automatizadas (bots) y monitorear la radicalización progresiva en foros de odio, basándose en la estructura léxica inherente de los usuarios.
• Avance Metodológico: Cierra la brecha entre las pruebas de sesgo intrínseco (que miran al modelo) y el análisis de usuarios (que miran al comportamiento), demostrando que los vectores de usuarios compactos capturan preferencias léxicas estables que pueden ser probadas rigurosamente.

En resumen, POLAR transforma la detección de sesgos y la caracterización de usuarios de un problema de clasificación supervisada a un problema de inferencia de efecto de asociación estadística, permitiendo un análisis más fino, interpretable y escalable del comportamiento humano en línea.