Semantic Gradients Interactions in SSD: A Case Study in Racial Identity and Hate Speech

Résumé Technique : Interactions des Gradients Sémantiques dans le SSD

Énoncé du Problème
Le Différentiel Sémantique Supervisé (SSD) est une méthode mixte quantitative et interprétative qui modélise comment le sens des textes ou des concepts varie en fonction de résultats externes, en traçant un gradient sémantique dans un espace d'incorporation (embedding). Cependant, le modèle SSD canonique estime un seul gradient sémantique pour l'ensemble de l'échantillon. Cette approche suppose une relation homogène entre le sens et le résultat, ce qui peut masquer des effets de modération critiques où des indices sémantiques prédisent des résultats différemment selon les groupes, les identités ou les conditions. En sciences sociales et en psychologie, un même contenu textuel peut porter des implications évaluatives différentes selon l'identité du juge, pourtant le SSD standard moyenne ces relations hétérogènes, échouant à capturer comment les structures sémantiques divergent au sein de sous-groupes théoriquement significatifs.

Méthodologie : SSD d'Interaction
L'article introduit le SSD d'Interaction, une extension du modèle canonique conçue pour estimer comment les gradients sémantiques varient en fonction d'un modérateur (par exemple, l'appartenance à un groupe, des traits ou des conditions expérimentales).

1. Incorporation et Réduction de Dimensionnalité :

   • Les documents sont mappés vers des vecteurs denses à l'aide d'un modèle d'incorporation fixe (par exemple, GloVe) avec une moyenne pondérée SIF et la suppression de la première composante principale pour réduire l'anisotropie.
   • L'Analyse en Composantes Principales (ACP) est appliquée pour réduire la dimensionnalité. Le nombre de composantes retenues ($K$) est sélectionné via un « balayage ACP » (PCA sweep), optimisant la variance retenue, la cohérence du voisinage sémantique local et la stabilité à travers des dimensions voisines.

2. Modèle de Régression :
   La méthode enrichit la régression SSD standard avec un effet principal de modérateur et un bloc d'interaction sémantique. Soit $y_i$ le résultat standardisé, $\tilde{x}_i$ le vecteur de document réduit par ACP de dimension $K$, et $m_i$ le modérateur standardisé. Le modèle est spécifié comme suit :
   $$y_i = \alpha + \beta^\top \tilde{x}_i + \gamma m_i + \delta^\top (\tilde{x}_i m_i) + \epsilon_i$$

   • $\beta$ : Capture l'association sémantique de base avec le résultat (le gradient sémantique principal).
   • $\gamma$ : Capture l'effet principal non sémantique du modérateur.
   • $\delta$ : Teste si l'association sémantique elle-même change en fonction du modérateur (le gradient d'interaction).

3. Tests Statistiques et Interprétation :

   • Significativité : Le bloc sémantique ($\beta$) et le bloc d'interaction ($\delta$) sont évalués à l'aide de tests $F$ de Wald sur leurs $K$ coefficients respectifs. L'effet principal du modérateur ($\gamma$) est évalué comme un coefficient unique.
   • Rétro-projection : Les vecteurs de coefficients sont rétro-projetés de l'espace ACP vers l'espace d'incorporation original pour produire des gradients interprétables :
     • Gradient Principal : $\hat{g}_{main} = P\beta$
     • Gradient d'Interaction : $\hat{g}_{int} = P\delta$
     • Gradients Conditionnels : $\hat{g}(m^*) = \hat{g}_{main} + m^*\hat{g}_{int}$
   • Analyse Qualitative : À l'instar du SSD standard, les pôles positif et négatif de ces gradients sont interprétés en récupérant les plus proches voisins, en les regroupant par clusters et en extrayant des extraits de texte représentatifs.

Étude de Cas et Résultats
La méthode a été appliquée au corpus de mesure des discours de haine de l'Université de Californie à Berkeley ($n=44\,813$), en analysant spécifiquement les commentaires visant les personnes de couleur (POC). Le modérateur était l'identité raciale de l'annotateur (binaire : Blanc vs POC).

• Résultats Statistiques :

  • Le modèle a expliqué une variance substantielle des scores de discours de haine ($R^2_{adj} = .662$).
  • Le bloc sémantique était hautement significatif, confirmant une structure sémantique partagée.
  • L'effet principal de la race de l'annotateur était significatif ($\hat{\gamma} = .028$), les annotateurs blancs attribuant légèrement des scores de discours de haine plus élevés en moyenne.
  • Crucialement, le bloc d'interaction était significatif ($F(62, 44687) = 13.76, p < 10^{-16}$), indiquant que l'axe sémantique prédictif des jugements de discours de haine diffère selon la race de l'annotateur. La $R^2$ partielle pour l'interaction était de .019, indiquant un effet de taille faible mais statistiquement robuste.

• Interprétation Sémantique :

  • Gradient Principal ($\hat{g}_{main}$) : A révélé une structure partagée opposant un discours ouvertement hostile (mépris basé sur des insultes, catégorisation éliminationniste, métaphores de vermine) à une contre-parole affirmant la communauté (discours civique diasporique, engagement réflexif sur la race, célébration des réalisations des POC).
  • Gradient d'Interaction ($\hat{g}_{int}$) : A identifié où les deux groupes divergeaient de la structure partagée.
    • Pôle Positif (Sensibilité blanche) : Organisé autour d'une hostilité explicite et marquée en surface, incluant un vocabulaire d'attaque, des cadres biomédicaux/de contagion et des termes de racisme méta-discursifs.
    • Pôle Négatif (Sensibilité POC) : Organisé autour de contenus dépendants du contexte, incluant des commentaires raciaux affectifs et des conflits intra-communautaires en langue espagnole.
  • Gradients Conditionnels : Ont montré que, bien que les deux groupes partagent des pôles à scores élevés (hostilité), l'organisation locale des pôles négatifs (contre-parole) diffère, les annotateurs POC présentant un schéma de contre-parole structurellement plus élaboré.

• Robustesse : Une réanalyse utilisant le modèle GloVe Common Crawl 840B a répliqué la découverte de modération statistique ($p < 10^{-16}$) avec une $R^2$ partielle similaire (.017), bien que les voisinages sémantiques spécifiques du gradient d'interaction aient varié en fonction de la géométrie de l'incorporation.

Contributions Clés et Signification
La contribution principale de l'article est méthodologique : elle étend le SSD de l'estimation d'un seul gradient sémantique interprétable à la modélisation d'effets de modération sémantique.

• Testabilité et Interprétabilité : Le SSD d'Interaction rend les relations modérées entre sens et résultat statistiquement testables (via des tests de Wald sur les blocs d'interaction) et sémantiquement interprétables (via des gradients rétro-projetés et une analyse des plus proches voisins).
• Compréhension Nuancée du Biais : L'étude de cas démontre que, bien qu'une structure sémantique partagée dominante existe pour les jugements de discours de haine, des différences liées au groupe émergent comme des déviations de second ordre fiables. Cela permet aux chercheurs de dépasser la question de savoir si les groupes diffèrent pour comprendre comment les indices sémantiques prédisant les jugements diffèrent.
• Utilité Exploratoire : Les auteurs positionnent la méthode comme un outil pour la construction de théories et la génération d'hypothèses. Ils notent que, puisque le gradient d'interaction est estimé à partir des différences dans les relations conditionnelles, sa structure locale de plus proches voisins est moins stable que le gradient principal. Par conséquent, il est préférable de l'utiliser pour identifier où des associations sémantiques modérées peuvent se produire plutôt que comme un système de classification définitif.

Limites
Les auteurs notent explicitement plusieurs contraintes :

• L'analyse traite les enregistrements d'annotation comme des observations indépendantes, ignorant les effets aléatoires croisés des annotateurs et des commentaires.
• Le modérateur binaire Blanc/POC est un proxy grossier de la position sociale et ne capture pas l'hétérogénéité au sein du groupe.
• Les résultats sont spécifiques à l'ensemble de données (anglais, basé aux États-Unis, annotateurs MTurk) et peuvent ne pas être généralisables à d'autres langues ou populations.
• L'interprétation sémantique du gradient d'interaction dépend du choix du modèle d'incorporation, ce qui signifie que les voisinages de gradient doivent être considérés comme des cartes exploratoires de la géométrie d'un modèle spécifique plutôt que comme des faits empiriques stables.