OATH-Frames: Characterizing Online Attitudes Towards Homelessness with LLM Assistants

Imaginez essayer de comprendre ce que ressentent des millions de personnes face à un problème complexe et émotionnel comme l'itinérance. Si vous essayiez de lire chaque tweet à ce sujet, vous seriez enseveli sous une montagne de texte plus vite que vous ne pourriez ciller. C'est comme essayer de boire à un jet de lance à incendie.

Ce document, intitulé « OATH-Frames », porte sur la création d'une meilleure paire de lunettes pour voir ce qui se cache réellement dans ce jet de lance à incendie. Les chercheurs ont utilisé un mélange d'experts en travail social et d'une IA puissante (modèles de langage étendus ou LLM) pour trier 2,4 millions de tweets concernant l'itinérance aux États-Unis.

Voici l'histoire de la manière dont ils ont procédé, décomposée en parties simples :

1. Le problème : Les lunettes « taille unique »

Avant cette étude, si vous vouliez analyser les tweets sur l'itinérance, vous pourriez utiliser des outils standards qui demandent simplement : « Ce tweet est-il méchant ? » (Toxicité) ou « Ce tweet est-il joyeux ou triste ? » (Sentiment).

Les chercheurs soutiennent que ces outils sont comme essayer de trier un sac de fruits mélangés en utilisant seulement des autocollants « Rouge » et « Vert ».

• La faille : Un tweet pourrait dire : « Les sans-abri sont paresseux et sales. » Les outils standards pourraient passer à côté car il n'utilise pas de « gros mots » (faible toxicité) et n'est pas « joyeux » (sentiment négatif). Mais il est profondément préjudiciable.
• La réalité : Les attitudes humaines sont complexes. On peut ressentir de la sympathie pour une personne sans abri et être en colère contre le gouvernement pour ne pas avoir réglé le problème, tout cela dans la même phrase. Les simples étiquettes « bien/mal » manquent cette nuance.

2. La solution : Le menu « OATH-Frames »

L'équipe a créé un nouveau « menu » de neuf catégories spécifiques (cadres ou frames) pour décrire exactement comment les gens parlent de l'itinérance. Considérez cela comme un menu de dégustation de chef plutôt que juste de la « nourriture ».

Ils ont regroupé ces neuf catégories en trois saveurs principales :

• Critiques (Les plaintes) :
  • Critique du gouvernement : Blâmer les politiciens ou les lois.
  • Critique sociétale : Blâmer la société ou les personnes « hypocrites ».
  • Aide financière : Débattre de l'utilisation des fonds publics.
• Perceptions (Les stéréotypes) :
  • Généralisations préjudiciables : Qualifier tous les sans-abri de voleurs, d'addictes ou de paresseux.
  • Méritants vs Non-méritants : Soutenir que certains groupes (comme les vétérans) méritent plus d'aide que d'autres (comme les immigrés).
  • Pas dans mon quartier (NIMBY) : « Je ne suis pas contre les sans-abri, mais pas dans mon quartier. »
• Réponses (Les actions) :
  • Solutions : Suggérer des correctifs, des refuges ou des changements de politiques.
  • Interaction personnelle : Partager une histoire sur une rencontre avec une personne sans abri.
  • Représentation médiatique : Parler de la façon dont les informations ou la télévision traitent l'itinérance.

3. Le processus : La « danse Humain-IA »

Trier 2,4 millions de tweets à la main prendrait des années à une équipe humaine. Trier avec l'IA seule est risqué car l'IA peut mal interpréter les nuances sociales subtiles (comme le sarcasme ou les références politiques spécifiques).

Ils ont donc inventé une « danse Humain-IA » :

1. Les experts : Des experts en travail social ont d'abord défini les règles (le « menu ») et étiqueté un petit lot de tweets pour enseigner à l'IA ce qu'elle doit chercher.
2. L'assistant IA (GPT-4) : L'IA a tenté d'étiqueter des milliers de tweets. Lorsqu'elle était confuse, elle expliquait son raisonnement (comme un élève montrant son calcul).
3. La vérification : Les experts humains ont examiné le « travail » de l'IA et corrigé les erreurs. Ils ont constaté qu'en laissant l'IA faire le gros du travail et en se contentant de vérifier les résultats, ils étaient 6,5 fois plus rapides pour l'étiquetage, avec une baisse minime de la précision.
4. L'étape finale : Une fois que l'IA a appris les rudiments grâce aux experts, ils ont entraîné un modèle d'IA plus petit et plus rapide pour étiqueter les 2,4 millions de tweets restants de manière autonome.

4. Ce qu'ils ont trouvé : Les modèles cachés

Une fois qu'ils ont classé l'ensemble des 2,4 millions de tweets dans ces neuf catégories, ils ont pu voir des modèles auparavant invisibles.

• L'angle mort de la « Toxicité » : Ils ont découvert que de nombreux tweets contenant des stéréotypes préjudiciables (comme qualifier les sans-abri de « sales ») avaient des scores de toxicité faibles. Les nouveaux « OATH-Frames » des chercheurs ont capturé ces éléments, là où les anciens outils échouaient.
• La localisation compte :
  • En Californie, Washington et Oregon, les gens étaient plus susceptibles d'utiliser des Généralisations préjudiciables (stéréotypes). Les chercheurs pensent que c'est parce qu'il y a des populations sans abri visibles et non logées plus importantes dans ces zones, entraînant des réactions plus directes (et parfois négatives).
  • À New York, les gens étaient plus enclins à débattre des groupes Méritants vs Non-méritants. Cela semblait lié aux actualités sur les migrants et les demandeurs d'asile arrivant dans la ville, déclenchant des débats sur qui « mérite » l'aide.
• Le clivage « Ukraine vs Immigrés » :
  • Lorsque les gens comparaient les sans-abri américains aux Ukrainiens, les tweets concernaient principalement la Critique du gouvernement et l'Aide financière (ex: « Pourquoi envoyons-nous des milliards à l'Ukraine alors que nous avons des sans-abri ici ? »).
  • Lorsque les gens les comparaient aux Immigrés, les tweets étaient beaucoup plus hostiles, remplis de Généralisations préjudiciables et d'attitudes NIMBY (ex: « Ils prennent nos emplois/logements »).
• Le temps compte : Lors de grands événements d'actualité (comme les débats sur le financement de la guerre en Ukraine), les tweets ont bondi dans des catégories spécifiques. Lorsque le Congrès discutait de l'aide à l'Ukraine, les arguments sur l'Aide financière et les Méritants vs Non-méritants ont explosé dans les tweets.

L'essentiel

Ce document ne s'est pas contenté de compter des tweets ; il a appris à un ordinateur à comprendre la nuance de la colère, de la sympathie et de la confusion humaine concernant l'itinérance.

En combinant l'expertise humaine en travail social avec la vitesse de l'IA, ils ont créé un outil capable de détecter des attitudes préjudiciables subtiles que les détecteurs classiques de « méchant vs gentil » ne voient pas. Ils ont démontré que la façon dont nous parlons de l'itinérance change selon l'endroit où nous vivons, les personnes avec lesquelles nous faisons des comparaisons et ce qui se passe dans l'actualité en ce moment.

Note : Le document se concentre entièrement sur l'analyse de ces attitudes en ligne pour aider les chercheurs et les groupes de défense à mieux comprendre l'opinion publique. Il ne prétend pas résoudre directement l'itinérance ni offrir de conseils cliniques, mais fournit une lentille plus claire pour observer le problème.