💻 computer science

LLM-based uncertainty assessment of social media situational signals for crisis reporting

Dit artikel stelt een onzekerheidsbewust raamwerk voor dat gebruikmaakt van grote taalmodellen en externe proxy-data om de plausibiliteit van claims op sociale media te beoordelen, waardoor crisisrapporten kunnen worden gegenereerd die expliciet betrouwbaarheidsniveaus communiceren om menselijke besluitvorming tijdens rampen te ondersteunen.

Oorspronkelijke auteurs: Timothy Douglas, Roben Delos Reyes, Asanobu Kitamoto

Gepubliceerd 2026-05-05

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Timothy Douglas, Roben Delos Reyes, Asanobu Kitamoto

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een crisismanager bent die tijdens een zware aardbeving in een commandocentrum zit. Je schermen worden overspoeld met duizenden tekstberichten van mensen ter plaatse. Sommigen zeggen: "Mijn huis is ingestort!", terwijl anderen roepen: "De lucht valt neer!" of "Ik zag een tsunami aankomen!"

Op dit moment behandelen de meeste computersystemen die proberen deze berichten te samenvatten elk afzonderlijk bericht alsof het een geverifieerd feit is. Ze tellen gewoon de stemmen: "Oké, 50 mensen zeiden dat de brug weg is, dus het rapport zegt dat de brug weg is." Maar in een echte ramp zijn sommige van die berichten waar, sommige zijn overdrijvingen en sommige zijn gewoon geruchten. Ze allemaal hetzelfde behandelen, is alsof je luistert naar een koor waar iedereen even hard zingt, zelfs als sommigen vals zingen of verzonnen teksten zingen.

Dit artikel stelt een nieuwe manier van luisteren voor. In plaats van alleen de berichten te tellen, vraagt het systeem: "Hoe waarschijnlijk is dit verhaal waar, en hoe zeker is de computer over die gok?"

Hier is hoe het systeem werkt, opgesplitst in drie eenvoudige stappen met behulp van een creatieve analogie:

1. De Sorteerhoed (Classificatie)

Eerst leest de computer de berichten en sorteert ze in bakken. Het leest niet alleen de tekst; het labelt ze.

"Mijn huis is weg" gaat in de Schade-bak.
"Ik heb water nodig" gaat in de Behoeften-bak.
"De wegen zijn geblokkeerd" gaat in Infrastructuur.

Dit is standaardwerk. Maar de oude systemen hielden het hierbij, ervan uitgaande dat elk bericht in de "Schade"-bak even echt was.

2. De Realiteitscheck (Onzekerheidsbeoordeling)

Dit is de grote innovatie van het artikel. De computer neemt nu een bericht uit de "Schade"-bak en vergelijkt het met een Weerbericht (dat de auteurs "proxy-data" noemen).

In deze studie gebruikten ze gegevens van de USGS (een aardbevingsmonitoringsysteem uit de echte wereld) dat hen precies vertelt hoe hard de grond in specifieke gebieden trilde.

Het Scenario: Een tweet zegt: "De hele stad staat onder water!"
De Realiteitscheck: De computer kijkt naar de USGS-gegevens. Het ziet dat de trillingen in die stad zeer licht waren.
Het Oordeel: De computer zegt: "Dat verhaal is onwaarschijnlijk (het is waarschijnlijk niet gebeurd) en ik ben zeer zeker van dat oordeel."
Een ander Scenario: Een tweet zegt: "Ik hoorde een hard geluid en mijn koffiekopje viel."
De Realiteitscheck: De USGS-gegevens tonen een sterke schok op die exacte plek.
Het Oordeel: De computer zegt: "Dat verhaal is zeer waarschijnlijk en ik ben zeer zeker."
Het Moeilijke Scenario: Een tweet zegt: "Een gebouw is ingestort," maar de USGS-gegevens zijn vaag of het gebied is moeilijk in kaart te brengen.
Het Oordeel: De computer zegt: "Dat verhaal zou waar kunnen zijn, maar ik ben niet erg zeker van mijn oordeel."

Het systeem geeft elk bericht twee scores:

Waarschijnlijkheid: Hoe waarschijnlijk is dit echt? (1 tot 5 sterren).
Zekerheid: Hoe zeker is de computer over die beoordeling? (0% tot 100%).

3. Het Gefilterde Rapport (Crisisrapportage)

Tot slot maakt het systeem, in plaats van één groot, rommelig samenvatting dat geruchten met feiten mengt, verschillende rapporten op basis van deze scores.

Rapport A (De "Ga"-lijst): Bevat alleen verhalen die zeer waarschijnlijk zijn en waar de computer zeer zeker van is. Dit is wat het crisisteam gebruikt om direct hulp te sturen.
Rapport B (De "Let op"-lijst): Bevat verhalen die waarschijnlijk lijken, maar waar de computer niet zeker van is. Het team weet dat deze dubbel moet controleren voordat er actie wordt ondernomen.
Rapport C (De "Negeer"-lijst): Bevat verhalen die nep lijken of gewoon geruchten zijn. Het team kan deze veilig negeren om tijd te besparen.

Waarom dit belangrijk is

Het artikel testte dit uit op meer dan 200.000 tweets van zes verschillende aardbevingen. Ze ontdekten dat:

Niet alle berichten gelijk zijn: Het systeem slaagde erin de "waarschijnlijk waar" berichten te scheiden van de "waarschijnlijk nep" berichten.
De rapporten veranderen: Toen ze rapporten genereerden met alleen de "hoge zekerheid" berichten, waren de verhalen anders dan toen ze alle berichten door elkaar gebruikten.

Het Conclusie:
Dit raamwerk probeert niet menselijke experts te vervangen of te fungeren als een "waarheidsmachine" die alles weet. In plaats daarvan fungeert het als een slimme filter. Het helpt menselijke crisismanagers hun tijd te prioriteren door te zeggen: "Hier zijn de feiten waar we zeker van zijn, hier zijn de dingen die we moeten controleren, en hier zijn de dingen die we waarschijnlijk kunnen negeren." Het verandert een chaotische vloed van ruis in een gestructureerde, beheersbare lijst van signalen, waardoor mensen betere beslissingen kunnen nemen wanneer de tijd op is.

1. Probleemstelling

Sociale media zijn uitgegroeid tot een kritieke bron van situational awareness (SA) tijdens rampen, en bieden realtime inzichten in veranderende impact en behoeften. Echter, bestaande geautomatiseerde systemen voor crisisrapportage die gebruikmaken van Large Language Models (LLM's) lijden onder een fundamenteel gebrek: ze veronderstellen impliciet dat alle geclassificeerde berichten op sociale media even geloofwaardig zijn.

In werkelijkheid varieert de informatiekwaliteit tijdens crises aanzienlijk door onvolledige data, tegenstrijdigheden, geruchten en de betrouwbaarheid van bronnen. Het behandelen van alle signalen als even geldig riskeert het versterken van ruis of het verwerpen van echte maar afwijkende signalen. Bovendien communiceren huidige pipelines zelden de graad van zekerheid die gepaard gaat met geëxtraheerde informatie, wat hun bruikbaarheid beperkt voor menselijke besluitvormers die onder tijdsdruk acties moeten prioriteren. Er ontbreekt een kader dat epistemische onzekerheid (onzekerheid voortvloeiend uit onvolledige kennis) expliciet modelleert door claims op sociale media te toetsen aan onafhankelijke, real-world data.

2. Methodologie

De auteurs stellen een drie-staps onzekerheidsbewust kader voor dat externe proxy-data integreert om de geloofwaardigheid en het vertrouwen van signalen op sociale media te beoordelen. De pijplijn is modulair en bestaat uit:

Stap 1: Situational Awareness (SA) Classificatie

Input: Ruwe berichten op sociale media (tweets).
Proces: Een zero-shot LLM classificeert tweets in specifieke SA-categorieën (bijv. "Betrokken Personen", "Infrastructuurschade", "Behoeften & Donaties") op basis van een vastgesteld schema.
Output: Tweets verrijkt met SA-labels en onderbouwingen.

Stap 2: Proxy-geïnformeerde Onzekerheidsbeoordeling (Kernbijdrage)

Deze stap evalueert of een specifieke situatieve claim plausibel de real-world condities weerspiegelt.

Inputs:
1. De geclassificeerde tweet (tekst + metadata).
2. Externe Proxy-data: Gestructureerde, onafhankelijk verzamelde impactinschattingen (bijv. USGS PAGER-samenvattingen voor aardbevingen, inclusief de gemodificeerde Mercalli-intensiteit, blootstelling van de bevolking en schattingen van slachtoffers).
Mechanisme: De LLM wordt geprompt om gezamenlijk te redeneren over de inhoud van de tweet en de proxy-data. Het behandelt de proxy niet als absolute grondwaarheid, maar als een contextuele anker.
Outputs: Twee distincte metrics voor elke tweet:
1. Plausibiliteitsscore ( $l_i$ ): Een gestructureerde score op een 5-punts Likert-schaal (1 = Onplausibel, 5 = Zeer Plausibel) die aangeeft hoe goed de claim overeenkomt met verwachte real-world condities.
2. Vertrouwensscore ( $c_i$ ): Een continue score (0–100) die de zelfuitgedrukte zekerheid van het model in zijn plausibiliteitsoordeel weergeeft.
Elicitatiestrategie: Om robuustheid te waarborgen, gebruikt het kader een steekproefstrategie (het genereren van $M=3$ antwoorden met variërende temperaturen) en een aggregatiestrategie (gemiddelde scores) om variabiliteit te vangen en oververtrouwen te verminderen, waarbij methoden van Xiong et al. [7] worden aangepast.

Stap 3: Onzekerheidsbewuste Rapportgeneratie

Proces: In plaats van één samenvatting te genereren, aggregeert het systeem tweets op basis van hun onzekerheidsprofielen.
Operationalisering: De plausibiliteit-vertrouwensruimte wordt opgedeeld in vier kwadranten:
- Q3: Hoge Plausibiliteit / Hoog Vertrouwen (Actievere, geverifieerde signalen).
- Q1: Hoge Plausibiliteit / Laag Vertrouwen (Opkomende signalen die monitoring vereisen).
- Q4: Lage Plausibiliteit / Hoog Vertrouwen (Zeker uitgedrukt maar waarschijnlijk vals/geruchten).
- Q2: Lage Plausibiliteit / Laag Vertrouwen (Ambigue ruis).
Output: Gestructureerde crisisrapporten die expliciet communiceren wat wordt gemeld en hoe zeker het systeem is, waardoor "epistemische triage" mogelijk wordt.

3. Kernbijdragen

Nieuw Kader: Introductie van een proxy-geïnformeerde onzekerheidsbeoordelingskader dat zowel plausibiliteit als vertrouwen expliciet modelleert voor signalen op sociale media, verdergaand dan binaire classificatie.
Empirische Evaluatie: Een grootschalige studie met meer dan 200.000 tweets over zes grote aardbevingsevents (bijv. Chili 2014, Nepal 2015, Haïti 2021), waarbij USGS PAGER-data werd gebruikt als externe proxy.
Operationalisering: Demonstratie van hoe onzekerheidsschattingen kunnen worden gebruikt om gedifferentieerde crisisrapporten te genereren, waardoor analisten informatie kunnen prioriteren op basis van risicovolle en zekerheidsniveaus.

4. Resultaten

De studie adresseert twee primaire onderzoeksvragen (RQ's):

RQ1: Produceert het kader variatie in onzekerheidsschattingen?
- Ja. In tegenstelling tot een baseline waarbij alle tweets als even plausibel worden behandeld (nul entropie), genereert het voorgestelde kader gestructureerde heterogeniteit.
- Metrics: Shannon-entropie-analyse toonde niet-nul dispersie aan voor zowel plausibiliteit (tot 1,82 bits) als vertrouwen (tot 1,21 bits) over de events heen.
- Observatie: Hoewel LLM's een neiging vertoonden tot hoog vertrouwen (een bekende bias), slaagde het systeem er toch in signalen te differentiëren, door variërende plausibiliteitsscores (1–5) toe te wijzen in plaats van ze in één categorie te laten instorten.
RQ2: Verandert het conditioneren op onzekerheid de rapportstructuur?
- Ja. Rapporten gegenereerd vanuit verschillende onzekerheidskwadranten (Q1–Q4) vertoonden meetbare verschillen in semantische samenstelling vergeleken met een baselinesamenvatting.
- Metrics: Cross-rapport gelijkenis-analyse onthulde dat rapporten uit specifieke kwadranten (bijv. Q4 bij het Fukushima-event) semantisch distinct waren van de baseline en andere kwadranten.
- Interne Coherentie: Rapporten afgeleid van specifieke onzekerheidsprofielen vertoonden vaak een hogere interne semantische coherentie, wat suggereert dat groepering op basis van onzekerheid meer gefocuste verhalen creëert.

5. Betekenis en Implicaties

Risicobewuste Besluitvorming: Het kader transformeert ruwe data in "risicobewuste" intelligentie. Het stelt crisisresponders in staat onderscheid te maken tussen actievere intelligentie met hoog vertrouwen en ambigue of potentieel misleidende signalen zonder dat handmatig fact-checken van elk bericht vereist is.
Omgaan met Afwijkingen: Door signalen met "Lage Plausibiliteit/Hoog Vertrouwen" (Q4) te scheiden, helpt het systeem om zelfverzekerde geruchten of lokaal afwijkende gebeurtenissen (bijv. een specifieke instorting van een gebouw die niet wordt vastgelegd in geaggregeerde regionale data) te identificeren die anders zouden worden verworpen of blindelings zouden worden geaccepteerd.
Schaalbaarheid: De aanpak is platformonafhankelijk en kan worden toegepast op andere rampentypes (overstromingen, bosbranden), mits gestructureerde externe proxy-data beschikbaar is.
Mens-in-de-Loop: Het systeem is ontworpen om menselijke analisten te ondersteunen, niet om hen te vervangen. Het structureert het informatielandschap, waardoor mensen hun verificatie-inspanningen kunnen richten op specifieke onzekerheidsprofielen (bijv. het onderzoeken van Q1 opkomende signalen of Q4 potentiële desinformatie).

6. Beperkingen

Data-afhankelijkheid: Het kader is afhankelijk van de beschikbaarheid van gestructureerde externe proxy-data (zoals USGS PAGER), die mogelijk niet bestaat voor alle gevarentypes (bijv. complexe overstromingen of burgerlijke onrust).
Drempelgevoeligheid: De kwadrantenverdeling is gebaseerd op vaste drempels (Likert=3, Vertrouwen=50) die niet zijn geoptimaliseerd; verschillende drempels kunnen de verdeling van tweets veranderen.
Evaluatiemetrics: De studie gebruikt op embedding gebaseerde gelijkenis voor evaluatie in plaats van menselijke expert fact-checking, wat moeilijk uitvoerbaar is op schaal voor realtime crises.
Modelbias: De waargenomen oververtrouwen in LLM's blijft een uitdaging, hoewel de steekproefstrategie dit gedeeltelijk mitigeert.

Conclusie

Dit artikel presenteert een significante stap voorwaarts in Crisis Informatics door te bewegen van eenvoudige extractie naar onzekerheidsbewuste synthese. Door de plausibiliteit van claims op sociale media expliciet te modelleren tegen real-world proxies en het vertrouwen van het model te eliciteren, biedt het kader een transparantere, genuanceerdere en operationeel bruikbaarder tool voor geautomatiseerde crisisrapportage.