Counterfactual Probing for the Influence of Affect and Specificity on Intergroup Bias

Título: Sondas Contrafactuales para la Influencia del Afecto y la Especificidad en el Sesgo Intergroupo

1. El Problema

La investigación actual sobre sesgos en el Procesamiento del Lenguaje Natural (NLP) se ha centrado predominantemente en el uso de lenguaje negativo o peyorativo. Sin embargo, la psicología social sugiere que el sesgo es omnipresente y se manifiesta como cambios en el comportamiento lingüístico que reflejan dinámicas sociales cambiantes, no solo en el contenido negativo.

El artículo se basa en el marco de Govindarajan et al. (2023), que redefine el sesgo a través de las relaciones intergrupales (IGR) (in-group vs. out-group) en tuits. La pregunta central es: ¿qué características lingüísticas varían sistemáticamente en diferentes contextos intergrupales?

El trabajo busca probar la Hipótesis del Sesgo Lingüístico Intergroupo (LIB), que sugiere que las conductas deseables del grupo propio y las indeseables del grupo externo se codifican con mayor abstracción. Los autores proponen generalizar este concepto utilizando dos características pragmáticas definidas y computables:

• Especificidad: Mide el nivel de detalle (análogo al eje abstracto-concreto) de toda la oración.
• Afecto: Mide la actitud del hablante hacia el objetivo (análogo a la "deseabilidad social").

2. Metodología

Los autores realizaron un estudio a gran escala utilizando un corpus de tuits en inglés de miembros del Congreso de EE. UU. (donde los tuits etiquetan a otros miembros, permitiendo determinar si es in-group o out-group).

• Datos y Anotaciones:

  • Se utilizaron los datos de Govindarajan et al. (2023).
  • Afecto: Se añadieron anotaciones de granularidad gruesa (positivo/negativo) mediante crowdsourcing (Mechanical Turk), preguntando sobre los sentimientos del escritor hacia el objetivo y sus acciones.
  • Especificidad: Se calculó utilizando una herramienta de predicción de especificidad (Gao et al., 2019) entrenada en tuits, que genera una puntuación de 1 a 5.

• Modelo Base:

  • Se utilizó BERTweet (pre-entrenado en 850M tuits en inglés), ajustado finamente (fine-tuned) para la tarea de predecir etiquetas IGR.

• Técnica de Intervención (AlterRep):

  • Para ir más allá de las correlaciones y establecer causalidad, se empleó la técnica AlterRep basada en Proyección Iterativa al Espacio Nulo (INLP).
  • Proceso: Se entrena un clasificador lineal iterativo sobre las representaciones internas del modelo (capa 11) para identificar una característica específica (afecto o especificidad). Luego, se proyectan los embeddings del modelo para eliminar esa información (espacio nulo) o para empujarlos hacia un estado de mayor o menor intensidad de dicha característica.
  • Experimento: Se aplicaron intervenciones contrafactuales para "empujar" las representaciones del modelo hacia un afecto más positivo/negativo o hacia una especificidad más alta/baja, observando cómo cambia la predicción de la relación intergrupal.

3. Contribuciones Clave

• Nuevo Marco de Sesgo: Aplican una visión del sesgo basada en relaciones intergrupales a características pragmáticas cuantificables (especificidad y afecto) en lugar de solo contenido peyorativo.
• Primera Prueba Causal a Gran Escala: Son los primeros en utilizar sondas contrafactuales (AlterRep) para investigar si los modelos neuronales utilizan características pragmáticas de alto nivel (como la especificidad) de manera causal en tareas de clasificación social.
• Análisis de la LIB en Datos Naturales: A diferencia de la mayoría de los estudios de LIB que usan respuestas artificiales de participantes, este estudio analiza el lenguaje natural en redes sociales.

4. Resultados

• Correlaciones Iniciales:

  • Se encontró una correlación positiva modesta entre el afecto positivo y las etiquetas in-group.
  • No se encontró correlación significativa entre la especificidad y las etiquetas IGR en el conjunto de datos crudo.

• Resultados de las Intervenciones (Causalidad):

  • Afecto: Las intervenciones mostraron un efecto causal claro. Empujar las representaciones hacia un afecto positivo hizo que el modelo clasificara casi todos los tuits como in-group, independientemente de la especificidad. Esto confirma que el modelo utiliza el afecto de manera robusta para la toma de decisiones.
  • Especificidad: Los resultados fueron inconclusos y contradictorios con la hipótesis.
    • Empujar hacia baja especificidad (lenguaje más general) causó que el modelo clasificara todos los datos como in-group.
    • Empujar hacia alta especificidad no tuvo efecto (indistinguible del control).
    • No se observó la interacción esperada entre afecto y especificidad (es decir, el modelo no siguió el patrón de la LIB donde el afecto positivo in-group se asocia con baja especificidad).

• Análisis Cualitativo:

  • Se observó que el fine-tuning para la tarea IGR degradó la capacidad del Modelo de Lenguaje (LM) subyacente, generando tokens semánticamente implausibles tras las intervenciones. Esto sugiere que la falta de interacción entre las características podría deberse a daños en la representación del lenguaje más que a una falla en la lógica del sesgo del modelo.

5. Significado y Conclusiones

El estudio demuestra que, aunque los modelos de lenguaje aprenden a utilizar el afecto de manera causal para inferir relaciones intergrupales, su uso de la especificidad es menos claro y no sigue las predicciones de la Hipótesis del Sesgo Lingüístico Intergroupo (LIB) en este contexto.

• Implicaciones: Sugiere que las características pragmáticas como la especificidad podrían no ser el mecanismo principal que los modelos neuronales utilizan para capturar el sesgo intergrupal en datos de redes sociales, o que la degradación del modelo durante el entrenamiento enmascara estos efectos.
• Limitaciones: Los autores reconocen que la técnica INLP solo extrae información linealmente separable y que la degradación del modelo de lenguaje tras las intervenciones podría haber afectado la interpretabilidad de los resultados, especialmente para la especificidad.
• Futuro: Se requiere más investigación para entender por qué la especificidad no se comporta como se predijo y para probar la generalización de estos hallazgos en otros dominios y lenguajes.

En resumen, el papel conecta exitosamente un nuevo marco teórico de sesgo social con la arquitectura de modelos de lenguaje, revelando que el afecto es un predictor causal fuerte, mientras que la especificidad requiere una investigación más profunda debido a resultados mixtos y posibles artefactos del modelo.