LLM-Grounded Explainability for Port Congestion Prediction via Temporal Graph Attention Networks

Dit paper introduceert AIS-TGNN, een raamwerk dat een Temporaal Graf-Attention Netwerk koppelt aan een gestructureerd LLM-reasoningmodule om zowel de voorspelling van havencongestie als operationeel interpreteerbare, bewijsgebaseerde verklaringen te genereren met behoud van voorspellende nauwkeurigheid.

De kern

Stel je voor dat de haven van Los Angeles en Long Beach een gigantisch, drukke kruispunt is voor de wereldhandel. Het is als een enorme parkeerplaats voor schepen, maar dan met containers vol spullen die naar heel Amerika moeten. Soms raakt deze parkeerplaats zo vol, dat er een enorme file ontstaat. Dit heet "havencongestie". Als dit gebeurt, komen je bestellingen te laat, worden prijzen hoger en raken fabrieken zonder grondstoffen.

De vraag is: Hoe weten we van tevoren dat er een file komt, en kunnen we ook uitleggen waarom?

Dit artikel beschrijft een slimme nieuwe manier om dat te doen, met behulp van twee technologieën die samenwerken als een perfect team: een slimme rekenmachine (een AI-model) en een uitlegger (een taal-AI).

Hier is hoe het werkt, in gewone taal:

1. Het Probleem: De "Zwarte Doos"

Vroeger probeerden computers te voorspellen of er een file zou komen. Ze waren soms goed in het voorspellen, maar als je ze vroeg: "Waarom denk je dat?", gaven ze geen goed antwoord. Het was alsof een weersvoorspeller zegt: "Morgen regent het," maar niet kan zeggen of het komt door een koufront, een storm of gewoon omdat het een dinsdag is. Voor havenbedrijven is dat gevaarlijk; ze willen weten waarom ze moeten ingrijpen.

2. De Oplossing: Twee Helden in Eén Team

De auteurs hebben een systeem gebouwd genaamd AIS-TGNN. Laten we het zien als een team van twee:

Held 1: De "Spatie-Temporele Aandachtsnetwerk" (De Rekenmachine)

Stel je voor dat de haven is opgedeeld in een groot rooster van vierkante vakjes (zoals een schaakbord). In elk vakje zitten schepen.

• Wat doet deze AI? Hij kijkt niet alleen naar één vakje, maar naar het hele bord. Hij ziet hoe schepen in vakje A bewegen en hoe dat invloed heeft op vakje B, C en D.
• De Analogie: Denk aan een verkeersagent die niet alleen naar één auto kijkt, maar ziet hoe een file in de ene straat de volgende straat blokkeert. Deze AI gebruikt een techniek genaamd "Attention" (aandacht). Hij leert welke buren het belangrijkst zijn. Als er in vakje X veel langzame schepen zijn, "luistert" hij daar extra goed naar en geeft dat meer gewicht dan een vakje waar alles vlot gaat.
• Het Resultaat: Hij kan met 76% zekerheid voorspellen of een gebied morgen vastloopt.

Held 2: De "Grote Taalmodel" (De Uitlegger)

Dit is de tweede helft van het systeem, een AI die gewend is om tekst te schrijven (zoals ChatGPT).

• Het Probleem: De rekenmachine (Held 1) geeft alleen cijfers en getallen. Dat is saai en moeilijk te begrijpen voor een havenmanager.
• De Oplossing: De auteurs hebben de rekenmachine gekoppeld aan de taal-AI, maar met een strikte regel: "Je mag niet verzinnen!"
• Hoe werkt het? De rekenmachine stuurt de taal-AI een lijstje met feiten: "Vakje 321 heeft veel langzame schepen, en de buren in het noorden hebben ook file." De taal-AI krijgt de opdracht om hier een verhaal van te maken, maar mag alleen die feiten gebruiken.
• Het Resultaat: In plaats van een tabel met getallen, krijg je een helder rapport: "Er is een risico op file in sector 321. De reden is dat de schepen daar al langzaam varen (zoals een slak) en dat de buren er ook al vastzitten, wat de druk verhoogt."

3. Waarom is dit zo speciaal?

In het verleden konden AI-systemen ofwel goed voorspellen, ofwel goed uitleggen, maar zelden beide tegelijk.

• Als je vroeg om een uitleg, was de voorspelling vaak minder goed.
• Als je de voorspelling verbeterde, werd de uitleg vaak onbegrijpelijk.

Dit systeem slaagt erin om beide te doen. De taal-AI is "geaard" in de feiten van de rekenmachine. Ze verzint geen verhalen. Ze vertaalt alleen wat de rekenmachine ziet naar menselijke taal.

4. De Test: Werkt het echt?

De auteurs hebben dit getest met echte data van zes maanden uit de haven van Los Angeles.

• De Voorspelling: Het systeem was beter dan eerdere methoden. Het kon vaker de files zien aankomen die echt kwamen.
• De Uitleg: Ze hebben gecontroleerd of de verhalen die de taal-AI schreef klopten met de feiten. Het resultaat? 99,6% van de uitleg was 100% correct. De AI heeft niet gelogen of dingen verzonnen; ze heeft alleen de feiten netjes in zinnen gezet.

Conclusie: Een Slimme Havenwachter

Kort samengevat: Dit onderzoek heeft een systeem bedacht dat fungeert als een slimme havenwachter.

1. Hij kijkt naar de hele haven als één groot, verbonden netwerk (niet als losse stukjes).
2. Hij voorspelt waar de file komt.
3. Hij schrijft direct een duidelijk verslag in menselijke taal over waarom die file komt, gebaseerd op harde feiten.

Dit helpt havenbedrijven om proactief te zijn: ze kunnen schepen omleiden of extra kraanmachines klaarzetten voordat de file echt ontstaat. Het maakt de complexe wereld van AI begrijpelijk en betrouwbaar voor de mensen die de beslissingen nemen.

Technische samenvatting

Titel: LLM-Grounded Explainability for Port Congestion Prediction via Temporal Graph Attention Networks

1. Probleemstelling

Havencongestie op grote maritieme knooppunten (zoals Los Angeles en Long Beach) verstoort wereldwijde toeleveringsketens. Bestaande voorspellingssystemen prioriteren vaak alleen de voorspellingnauwkeurigheid (bijv. AUC, F1-score) en missen operationeel interpreteerbare uitleg. Stakeholders, zoals terminaloperators en logistiek planners, hebben niet alleen een voorspelling nodig, maar ook een verantwoorde, natuurlijke taalverklaring over waarom een congestie wordt voorspeld. Bestaande methoden voor uitlegbaarheid (zoals GNNExplainer of SHAP) leveren vaak abstracte numerieke scores die niet direct vertaalbaar zijn naar actiegerichte inzichten voor niet-technische gebruikers.

2. Methodologie: Het AIS-TGNN Framework

Het paper introduceert AIS-TGNN, een end-to-end framework dat een Temporal Graph Attention Network (TGAT) koppelt aan een gestructureerde Large Language Model (LLM) redeneermodule.

• Data en Grafiekconstructie:

  • Bron: NOAA AIS-uitzendingen (januari–juni 2023) voor de San Pedro Bay en de havens van Los Angeles/Long Beach.
  • Grafiek: Het gebied is opgedeeld in een raster van $0.1^\circ \times 0.1^\circ$. Elke dag wordt een tijdstip (snapshot) gemaakt waarbij actieve rastercellen (met AIS-observaties) als knooppunten dienen.
  • Connectiviteit: Knopen zijn verbonden via een $k$-nearest-neighbour (k=8) grafiek op basis van Euclidische afstand.
  • Features: Per knoop-dag worden 10 kinematische en verkeersdichtheidsfeatures berekend (bijv. gemiddelde snelheid over de grond, ratio van langzame schepen, ankerpercentage, vrachttype).
  • Label: Een binair label voor "congestie-escalatie" ($y=1$) wordt toegewezen als de ratio van langzame schepen op dag $t+1$ hoger is dan op dag $t$. De dataset is onbalans (ongeveer 13,5% positieve gevallen).

• Model Architectuur (TGAT):

  • Het model verwerkt een sequentie van dagelijkse grafieken.
  • Temporal Message Passing: Het model gebruikt een multi-head Graph Attention Network (GAT) laag. Voor elke knoop worden de bijdragen van buren adaptief gewogen via leerbare attention-coëfficiënten ($\alpha_{ij}$).
  • Temporele Context: Embeddings van tijdstip $t$ worden gekoppeld aan de ruwe features van tijdstip $t+1$, waardoor het model kan leren van recente verkeersgeschiedenis zonder een aparte recurrente component.
  • Training: Getraind met een chronologische split (70% train, 15% val, 15% test) om data-lekkage te voorkomen. Er wordt gebruikgemaakt van een gewogen binary cross-entropy loss om de onbalans aan te pakken.

• LLM Uitlegmodule:

  • Evidence Extractie: Na training worden voor elke voorspelling de top-5 features (gebaseerd op z-scores) en de top-2 ruimtelijke buren (gebaseerd op attention-weights) geëxtraheerd.
  • Gestructureerde Prompt: Deze "evidence records" worden omgezet in een gestructureerde prompt voor GPT-4o-mini. De LLM wordt strikt geïnstrueerd om alleen te redeneren op basis van deze bewijslast en geen externe kennis te gebruiken.
  • Output: De LLM genereert een JSON-gebaseerd risicorapport met zes secties: factoren, buureinvloed, risicosamenvatting, contrafactuele suggesties, onzekerheid en beperkingen.

3. Belangrijkste Bijdragen

1. AIS-TGNN Dataset en Pipeline: Een open-source pipeline die ruwe AIS-data omzet in 89 chronologische spatiotemporele grafieksnapshots (ca. 30.200 gelabelde knoop-dag samples).
2. TGAT Congestie Predictor: Implementatie van een TGAT-model dat presteert op een sterk onbalans dataset met een strikte chronologische validatie.
3. Attention-Based Evidence Extractie: Een brug tussen modelinterne logica en menselijke interpretatie door het extraheren van specifieke bewijsstukken (z-scores en attention-weights) per knoop.
4. LLM-Genereerde Risicosynthese: Het aantonen dat een LLM, geleid door gestructureerde bewijslast, coherent en domain-specifiek risicorapportage kan genereren met een hoge mate van consistentie.

4. Resultaten

• Voorspellende Prestaties (Test Set):

  • AUC: 0.761 (versus 0.759 voor GCN en 0.713 voor Lineaire Regressie).
  • Average Precision (AP): 0.344 (versus 0.326 voor GCN).
  • Recall: 0.504 (een significante verbetering van +13,2% ten opzichte van GCN).
  • Interpretatie: Hoewel de AUC-gemiddelde slechts marginaal hoger is, is de verbetering in Recall en AP cruciaal voor havenplanners, omdat het missen van een congestie-escalatie (False Negative) operationeel kostbaarder is dan een vals alarm. De TGAT slaagt er beter in dan statische GCN-modellen om zeldzame, hoog-risico gebeurtenissen te detecteren dankzij de attention-mechanismen.

• Uitlegbaarheid en Consistentie:

  • Directionele Consistentie: Een protocol om te verifiëren of de door de LLM gegenereerde tekst (bijv. "verhoogt het risico") overeenkomt met de onderliggende statistische bewijslast (z-score en correlatierichting).
  • Resultaat: 99,6% consistentie (498 van de 500 beoordelingen). Dit bevestigt dat de LLM de feiten van het model trouw weergeeft en geen "hallucinaties" creëert.

5. Betekenis en Conclusie

Dit paper biedt een praktische route naar operationeel inzetbare uitlegbare AI (XAI) voor maritieme congestiebewaking.

• Vertrouwen: Door de LLM-output te "grounden" in de interne bewijslast van het grafiekmodel, wordt transparantie gecreëerd zonder in te leveren op voorspellingsnauwkeurigheid.
• Operationalisatie: Het systeem levert niet alleen een voorspelling, maar een auditabel risicorapport dat direct gebruikt kan worden voor proactief herplannen van vaarroutes en het positioneren van apparatuur.
• Toekomstperspectief: De auteurs suggereren het integreren van exogene variabelen (weer, getijden) en het uitbreiden naar meervoudige voorspellingen in de toekomst om de recall verder te verhogen.

Samenvattend combineert AIS-TGNN de kracht van spatiotemporele grafiekmodellen voor nauwkeurige voorspelling met de communicatieve kracht van LLM's voor begrijpelijke rapportage, wat een nieuwe standaard zet voor risicomanagement in toeleveringsketens.