The Limits of LLM Forecasting: Parametric Knowledge Gaps Across Conflict Zones

Résumé Technique : Les limites de la prévision par les LLM

Énoncé du problème
Les systèmes d'IA humanitaires s'appuient de plus en plus sur les modèles de langage de grande taille (LLM) pour l'alerte précoce aux conflits et l'allocation des ressources. Cependant, ces modèles héritent de connaissances mondiales issues de corpus d'entraînement façonnés par une couverture médiatique en langue anglaise très inégale. Bien que des travaux antérieurs aient documenté que le biais des médias occidentaux affecte l'allocation de l'aide et la saillance des crises, il reste inconnu si ces asymétries se propagent dans le raisonnement sur les conflits piloté par les LLM. Plus précisément, l'article examine si les écarts d'attention médiatique se traduisent par des échecs qualitatifs dans la manière dont les LLM prévoient l'escalade des conflits, fournissant potentiellement aux populations sous-couvertes une IA incapable de distinguer les périodes stables des périodes d'escalade.

Méthodologie
L'étude évalue la prévision de l'escalade des conflits en mode "zero-shot" pour 22 zones de conflit actives de janvier 2020 à février 2026.

• Sources de données :
  • Intensité des conflits : Le jeu de données Armed Conflict Location and Event Dataset (ACLED) fournit le nombre mensuel d'événements de référence (ground-truth).
  • Attention médiatique : La base de données Global Database of Events, Language and Tone (GDELT) indexe les articles de presse en langue anglaise.
  • Ratio d'attention : Défini comme le ratio d'articles GDELT par événement ACLED par pays. Cette métrique révèle un écart de 224× entre les zones les plus couvertes (Israël, 63,9 articles/événement) et les moins couvertes (Myanmar, 0,29 article/événement).
• Conception expérimentale :
  • Tâche : Prévision binaire de savoir si les décès liés aux conflits armés dépasseront 130 % d'une base de référence récente de 14 jours dans une fenêtre de 30 jours.
  • Modèles : Llama-3.3-70B et GPT-4o évalués dans un cadre "zero-shot" (nom du pays et période de prédiction uniquement).
  • Baselines (références) :
    • Always-YES (Toujours OUI) : Prédit l'escalade pour chaque cas.
    • Persistance : Prédit l'escalade si les décès récents dépassent la période précédente de 1,3×.
    • Régression Logistique (LR) : Utilise 11 caractéristiques de fenêtres d'observation (ex: nombre de décès, volatilité) sans aucune information d'identité du pays.
  • Ablation : Une condition avec augmentation d'évidence a été testée, où les prompts incluaient les tendances du nombre d'événements ACESS sur trois mois, afin de déterminer si des données structurées pouvaient corriger les défaillances paramétriques.
  • Évaluation : Un ensemble de test non utilisé de 660 cas (40 % du jeu de données de 1 628 cas) stratifié par niveaux de couverture médiatique (Sous-couvert, Moyen, Sur-couvert).

Contributions clés et résultats
L'article présente cinq contributions primaires, caractérisées par un passage d'une vision de la performance comme un gradient à l'identification de défaillances de raisonnement qualitatives :

1. Quantification de l'écart d'attention : L'étude documente une disparité de 224× dans l'attention médiatique en anglais par événement de conflit à travers 22 pays, l'Afrique subsaharienne et l'Asie du Sud-Est étant systématiquement sous-couvertes par rapport à l'Europe et au Moyen-Orient.
2. Modes de défaillance qualitative : Les LLM ne prévoient pas la dynamique des conflits ; ils catégorisent les contextes de conflit en fonction de l'exposition médiatique.
   • Llama-3.3-70B : Sur les zones sous-couvertes, le modèle prédit l'escalade pour chaque cas sans exception (210/210), rejoignant la baseline triviale Always-YES jusqu'à trois décimales (F1 = 0,403).
   • GPT-4o : Sur les zones sur-couvertes, le modèle ne prédit aucune escalade pour chaque cas (120/120), manquant ainsi tous les cinq événements d'escalade réels (F1 = 0,000).
3. Supériorité des modèles structurés simples : Une régression logistique utilisant uniquement 11 caractéristiques temporelles et aucune information de pays a obtenu un F1 global de 0,402. Cela a surpassé les deux LLM dans chaque niveau mesurable. Le modèle LR a démontré que le signal de prévision est exploitable sans connaissance paramétrique des identités de pays.
4. Inefficacité de l'augmentation d'évidence : Fournir des preuves structurées ACLED au moment de l'inférence n'a pas résolu le problème ; cela a dégradé la performance.
   • Pour les zones sous-couvertes, l'ajout d'évidences a fait chuter le F1 de GPT-4o de 0,323 à 0,168.
   • Le modèle LR, traitant les mêmes données sous-jacentes, a surpassé le GPT-4o augmenté d'évidences par un facteur de 2,4 (F1 0,402 contre 0,168).
   • Cela indique que le goulot d'étranglement n'est pas la disponibilité des données, mais l'incapacité du LLM à interpréter les signaux temporels sous un a priori catégoriel de pays.
5. Implications pour l'équité : Les populations sous-couvertes reçoivent une IA qualitativement différente. Les modèles échouent à distinguer les périodes stables des périodes d'escalade dans ces régions, non par manque de signal, mais à cause des a priori internes des modèles.

Signification et revendications
L'article soutient que l'échec des LLM dans ce domaine est un "problème d'équité de premier ordre". La thèse centrale est que les LLM sont actuellement incapables d'extraire des signaux temporels structurés à partir de prompts en langage naturel dans les contextes géographiques où le déploiement humanitaire est le plus crucial.

• Recadrage du problème : L'échec n'est pas un manque de données ou un problème de prompting, mais un "problème de connaissance paramétrique" où les a priori catégoriels au niveau du pays l'emportent sur les évidences temporelles disponibles.
• Appel à l'action : Les auteurs proposent trois directions de recherche spécifiques :
  1. Évaluation stratifiée par la couverture : Rapporter les performances séparément pour les niveaux sous-couvert, moyen et sur-couvert plutôt que d'utiliser des métriques agrégées.
  2. Création de jeux de données : Prioriser la création de jeux de données de conflits prêts pour le NLP pour les régions sous-couvertes (ex: RDC, Myanmar) afin de remédier aux déficits de signaux d'entraînement.
  3. Documentation des données d'entraînement : Exiger que les développeurs documentent les statistiques de couverture des conflits géographiques dans les "model cards" pour permettre aux utilisateurs de prendre des décisions éclairées sur la fiabilité des modèles.

L'article conclut que bien que les LLM puissent être utiles dans d'autres contextes, les modèles actuels de prévision paramétrique "zero-shot" sont insuffisants pour l'alerte précoce humanitaire dans les zones sous-couvertes, où des modèles structurés simples offrent actuellement des performances supérieures et plus fiables.