The Limits of LLM Forecasting: Parametric Knowledge Gaps Across Conflict Zones

Technische Samenvatting: De Limieten van LLM-voorspellingen

Probleemstelling
Humanitaire AI-systemen vertrouwen steeds vaker op Large Language Models (LLMs) voor vroege waarschuwing bij conflicten en de toewijzing van middelen. Deze modellen erven echter wereldkennis uit trainingscorpora die gevormd zijn door zeer ongelijke Engelstalige mediaverslaggeving. Hoewel eerder werk heeft gedocumenteerd dat de bias in westerse media de hulpverlening en de relevantie van crises beïnvloedt, blijft het onbekend of deze asymmetrieën doorwerken in de kwalitatieve redenering van LLM-gebaseerde conflicten. Specifiek onderzoekt dit artikel of hiaten in media-aandacht vertalen naar kwalitatieve tekortkomingen in de manier waarop LLM's de escalatie van conflicten voorspellen, wat potentieel ertoe leidt dat onderbelichte populaties een AI krijgen die het verschil niet kan zien tussen stabiele perioden en escalerende perioden.

Methodologie
De studie evalueert zero-shot conflictescalatie-voorspellingen over 22 actieve conflictzones van januari 2020 tot februari 2026.

• Databronnen:
  • Conflictintensiteit: De Armed Conflict Location and Event Dataset (ACLED) levert de grondwaarheid van maandelijkse gebeurtenis-aantallen.
  • Media-aandacht: De Global Database of Events, Language and Tone (GDELT) indexeert Engelstalige nieuwsartikelen.
  • Aandachtsratio: Gedefinieerd als de ratio van GDELT-artikelen tot ACLED-gebeurtenissen per land. Deze metriek onthult een 224× gat tussen de meest gedekte zones (Israël, 63,9 artikelen/gebeurtenis) en de minst gedekte zones (Myanmar, 0,29 artikelen/gebeurtenis).
• Experimenteel Ontwerp:
  • Taak: Binaire voorspelling van of de doden door gewapend conflict de 130% van een recente 14-daagse baseline zullen overschrijden binnen een venster van 30 dagen.
  • Modellen: Llama-3.3-70B en GPT-4o geëvalueerd in een zero-shot setting (landnaam en voorspellingsperiode alleen).
  • Baselines:
    • Always-YES: Voorspelt escalatie voor elk geval.
    • Persistence: Voorspelt escalatie als recente doden de voorgaande periode met 1,3× overstijgen.
    • Logistische Regressie (LR): Gebruikt 11 kenmerken uit observatievensters (bijv. dodenaantallen, volatiliteit) zonder landidentiteitsinformatie.
  • Ablatie: Een door bewijs versterkte conditie werd getest waarbij prompts drie maanden aan ACLED-gebeurtenis-trends bevatten om te bepalen of gestructureerde data parametrische fouten kon corrigeren.
  • Evaluatie: Een geteste testset van 660 gevallen (40% van de 1.628-gevallen dataset) gestratificeerd naar media-dekkingstiers (Onder, Midden, Over).

Belangrijkste Bijdragen en Resultaten
Het artikel presenteert vijf primaire bijdragen, gekenmerkt door een verschuiving van het zien van prestaties als een gradiënt naar het identificeren van kwalitatieve redeneerfouten:

1. Kwantificering van de Aandachtsgap: De studie documenteert een 224× verschil in Engelstalige media-aandacht per conflictgebeurtenis over 22 landen, waarbij Sub-Sahara Afrika en Zuidoost-Azië systematisch minder gedekt zijn in verhouding tot Europa en het Midden-Oosten.
2. Kwalitatieve Foutmodi: LLM's voorspellen geen conflictdynamiek; ze categoriseren conflictcontexten op basis van media-blootstelling.
   • Llama-3.3-70B: In onderbelichte zones voorspelt het model escalatie voor elk enkel geval (210/210), wat de triviale Always-YES baseline evenaart tot op drie decimalen nauwkeurig (F1 = 0,403).
   • GPT-4o: In overbedekte zones voorspelt het model geen escalatie voor elk geval (120/120), waardoor het alle vijf de werkelijke escalatiegebeurtenissen mist (F1 = 0,000).
3. Superieuriteit van Eenvoudige Gestructureerde Modellen: Een logistische regressie die enkel 11 temporele kenmerken gebruikt en geen landinformatie bevat, behaalde een totale F1 van 0,402. Dit presteerde beter dan beide LLM's in elke meetbare tier. Het LR-model toonde aan dat het voorspellingssignaal exploiteerbaar is zonder parametrische kennis van landidentiteiten.
4. Ineffectiviteit van Bewijsversterking: Het verstrekken van gestructureerd ACLED-bewijs tijdens de inferentie lost het probleem niet op; het verslechterde de prestaties.
   • Voor onderbelichte zones veroorzaakte het toevoegen van bewijs dat de F1 van GPT-4o daalde van 0,323 naar 0,168.
   • Het LR-model, dat dezelfde onderliggende data verwerkte, presteerde een factor 2,4 beter dan de met bewijs versterkte GPT-4o (F1 0,402 vs. 0,168).
   • Dit geeft aan dat de bottleneck niet de beschikbaarheid van data is, maar het onvermogen van de LLM om temporele signalen te interpreteren onder een land-categorische prior.
5. Implicaties voor Rechtvaardigheid: Onderbelichte populaties ontvangen kwalitatief andere AI. De modellen slagen er niet in om stabiele van escalerende perioden te onderscheiden in deze regio's, niet door een gebrek aan signaal, maar door de interne priors van de modellen.

Betekenis en Claims
Het artikel betoogt dat het falen van LLM's in dit domein een "first-class fairness problem" is. De centrale claim is dat LLM's momenteel niet in staat zijn om gestructureerde temporele signalen te extraheren uit natuurlijke taalprompts in de geografische contexten waar humanitaire inzet het meest consequential is.

• Herformulering van het Probleem: Het falen is niet een gebrek aan data of een prompting-issue, maar een "parametrische kennisprobleem" waarbij land-specifieke categorische priors de beschikbare temporele bewijslast overruilen.
• Oproep tot Actie: De auteurs stellen drie specifieke onderzoeksrichtingen voor:
  1. Dekking-gestratificeerde Benchmarking: Het rapporteren van prestaties afzonderlijk voor onderbelichte, midden- en overbelichte tiers in plaats van geaggregeerde metrieken.
  2. Dataset Creatie: Prioriteit geven aan het creëren van NLP-klare conflictdatasets voor onderbelichte regio's (bijv. DRC, Myanmar) om het tekort aan trainingssignalen aan te pakken.
  3. Documentatie van Trainingsdata: Verplicht stellen dat ontwikkelaars statistieken over geografische conflictdekking in model cards documenteren om gebruikers geïnformeerde beslissingen te laten nemen over de betrouwbaarheid van het model.

Het artikel concludeert dat hoewel LLM's nuttig kunnen zijn in andere contexten, de huidige zero-shot parametrische voorspellingspatronen onvoldoende zijn voor humanitaire vroege waarschuwing in onderbelichte zones, waar eenvoudige gestructureerde modellen momenteel superieur en betrouwbaarder zijn.