A Consensus-Driven Multi-LLM Pipeline for Missing-Person Investigations

Dit paper introduceert Guardian, een end-to-end systeem dat een meermodel-pipeline met consensusmechanismen en QLoRA-finetuning gebruikt om de eerste 72 uur van zoektochten naar vermiste personen te ondersteunen door middel van gecontroleerde, auditabele informatie-extractie.

De kern

Stel je voor dat er een kind is verdwenen. De eerste 72 uur zijn cruciaal; het is alsof je probeert een naald te vinden in een hooiberg, terwijl de hooiberg steeds groter wordt en je maar een paar minuten hebt om te zoeken.

In dit paper presenteren de auteurs Guardian, een slim computerprogramma dat rechercheurs helpt bij het vinden van vermiste mensen. Maar in plaats van één super-slimme computer die alles zelf doet, heeft Guardian een heel andere aanpak. Het werkt meer als een team van detectives dan als een eenzame held.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: Te veel rommel, te weinig tijd

Rechercheurs krijgen vaak een berg aan rommelig materiaal: verwarde getuigenissen, PDF-bestanden, wazige foto's en losse tips. Een mens kan hierdoor snel overweldigd raken. Traditioneel proberen mensen dit handmatig te ordenen, maar dat kost te veel tijd.

2. De Oplossing: Een "Raad van Wijzen" (Consensus)

Guardian gebruikt kunstmatige intelligentie (LLM's), maar vertrouwt niet op één enkele computer. In plaats daarvan roept het drie verschillende AI-experts tegelijkertijd op om hetzelfde verhaal te lezen.

• De Experts: Stel je voor dat je drie verschillende detectives hebt: Detective A (Qwen), Detective B (Llama) en Detective C (Gemini).
• Het Werk: Elke detective schrijft zijn eigen verslag: "Wat is er gebeurd?", "Waar was het kind?" en "Wat is het risico?".
• De Raad van Wijzen (Consensus): Dit is het belangrijkste deel. Een vierde, zeer strenge AI (de "Rechter") kijkt naar de verslagen van de drie detectives.
  • Als Detective A zegt: "Het kind is naar het bos gegaan" en Detective B zegt: "Het kind is naar de rivier gegaan", dan zegt de Rechter: "Wacht, dat klopt niet. Laten we kijken wat er echt in de getuigenis staat."
  • De Rechter zorgt ervoor dat ze het allemaal eens worden over de feiten voordat er een beslissing wordt genomen. Als ze het niet eens zijn, wordt er niet gegokt; er wordt gekozen voor de veiligste, meest onderbouwde optie.

3. De "Kwaliteitscontrole" (Zoals een chef-kok)

Stel je voor dat de AI's alsof ze een gerecht koken.

• Soms gooien ze per ongeluk een lepel in de soep (fouten in de data).
• Soms zeggen ze dingen die niet waar zijn, maar klinken wel heel overtuigend (hallucinaties).
• Guardian heeft een chef-kok (de Zone QA module) die voor het bord op tafel komt. Hij proeft de soep. Als er een lepel in zit of de smaak niet klopt, gooit hij het weg en laat hij het opnieuw maken. Hij zorgt ervoor dat het eindresultaat veilig en eetbaar is voor de rechercheurs.

4. Waarom niet gewoon één super-AI?

Je zou denken: "Waarom niet gewoon één heel slimme AI die alles doet?"
Het antwoord is: Omdat fouten maken menselijk is, en ook voor AI's.
Als je één AI vertrouwt en die maakt een fout, dan zoek je op de verkeerde plek. Door drie AI's te laten werken en ze te laten "ruzie maken" tot ze het eens zijn, wordt het systeem veel betrouwbaarder. Het is als het vragen van drie getuigen: als ze allemaal hetzelfde verhaal vertellen, is dat veel waardevoller dan het verhaal van één persoon.

5. De "Truc" met het leren (QLoRA)

Om de AI's nog slimmer te maken in hun specifieke taak, hebben de auteurs ze een beetje bijgeschoold (met een techniek genaamd QLoRA).

• Analogie: Stel je voor dat je een algemene dokter hebt die alles weet. Je wilt dat hij gespecialiseerd wordt in kinderverdwijningen. In plaats van hem alles opnieuw te leren (wat duur en zwaar is), geef je hem een specifiek handboek (de "adapter") dat hij alleen gebruikt voor dit soort zaken. Zo wordt hij een expert zonder dat hij zijn geheugen verliest.

Conclusie: Veiligheid boven snelheid

Het belangrijkste punt van dit paper is: Betrouwbaarheid is belangrijker dan snelheid.
In een zoektocht naar een vermist kind mag je geen gokken wagen. Guardian is ontworpen om conservatief te zijn. Als de AI's het niet zeker weten, zeggen ze dat ze het niet weten, in plaats van een gevaarlijk advies te geven.

Het systeem is als een veiligheidsnet onder een trapezeartiest: het vangt elke fout op voordat deze de rechercheurs kan schaden, zodat zij zich kunnen richten op het redden van het kind.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "A Consensus-Driven Multi-LLM Pipeline for Missing-Person Investigations" in het Nederlands.

Probleemstelling

Het vinden van vermiste personen, en met name kinderen, is een complex, multidisciplinair proces dat binnen de eerste 72 uur cruciaal is. Traditionele zoekplanningen lijden onder:

• Onvolledige en ongestructureerde data: Informatie komt uit diverse bronnen (narratieve rapporten, PDF's, sensordata, weerberichten) die moeilijk te fuseren zijn.
• Tijdsdruk en onzekerheid: Beslissingen moeten snel worden genomen op basis van schaarse data, waarbij menselijke oordelen vaak gebaseerd zijn op grove heuristieken.
• Risico van onbetrouwbare AI: Het gebruik van één enkel Large Language Model (LLM) als autoriteit is riskant vanwege hallucinaties, inconsistente output en het gebrek aan auditbaarheid, wat in veiligheidskritieke scenario's onacceptabel is.

Het doel is niet om één locatie te voorspellen, maar om gekalibreerde onzekerheid en actieerbare zoekproducten (zoals prioriteringszones) te genereren die betrouwbaar en traceerbaar zijn.

Methodologie: Het Guardian Systeem

Het paper introduceert Guardian, een end-to-end systeem dat een meermodel-pipeline gebruikt om ongestructureerde casusdocumenten om te zetten in probabilistische zoekoppervlakken. De architectuur is ontworpen rondom het principe dat betrouwbaarheid een systeemeigenschap is, niet een eigenschap van een enkel model.

1. Architectuur en Fasen

Het systeem werkt in twee hoofdfasen:

• Fase 1: Data Preprocessing (Guardian Parser Pack): Ingestie van heterogene ruwe inputs, normalisatie, validatie en verrijking met externe contextdata.
• Fase 2: Analyse en Evaluatie (Guardian Core): Gestructureerde validatie, LLM-verwerking met consensus, clustering, hotspots, en het genereren van zoekplannen.

2. De Consensus-Driven Pipeline

In plaats van één model te vertrouwen, behandelt Guardian elk model als een "fallible expert" (een foutieve expert).

• Multi-Model Executie: Specifieke taken (samenvatting, extractie, zwakke labeling) worden parallel uitgevoerd door meerdere modellen (in de evaluatie: Qwen2.5-3B en Llama-3.2-3B).
• Gecentraliseerde Consensuslaag: Een "Consensus Engine" (aangedreven door een referee-model, in dit geval Gemini 2.5 Flash/Pro) vergelijkt de outputs van de verschillende modellen.
  • Normalisatie: Transformeert kandidaat-outputs naar een vergelijkbare representatie (bijv. JSON-parsing, vaststellen van vaste bullet-structuren).
  • Agreement Scoring: Berekent overeenkomst op veldniveau (niet alleen tekstuele oppervlakte) om substantiële discrepanties op te sporen.
  • Reparatie en Adjudicatie: Bij fouten (bijv. malformed JSON) of meningsverschillen wordt een "referee" ingeschakeld om te kiezen, te samenvoegen of te repareren, strikt gebaseerd op de beschikbare bewijslast in de input.

3. Technische Componenten

• Prompt Engineering: Prompts worden behandeld als "first-class system artifacts". Er worden drie types gebruikt: Task prompts (voor primaire taken), Consensus prompts (voor conflictoplossing) en Format-guard prompts (voor strikte JSON-uitvoer en schema-conformiteit).
• QLoRA Fine-tuning: Modellen worden gefine-tuned met QLoRA (Quantized Low-Rank Adaptation) op een kleine set parameters (<1%). Dit verbetert de rol-specifieke prestaties (extractie, samenvatting) zonder de schaalbaarheid te verliezen of de basisvaardigheden van het model te verliezen.
• Zone QA (Quality Assurance): Een module die waarschijnlijkheidsscores toepast op kandidaat-zoekzones en deze combineert met bestaande signalen, waarbij conservatieve gedragingen worden gehandhaafd bij onzekerheid.
• Orchestratie: Beheert concurrentie, deadlines en caching. Het systeem prioriteert tijdige, conservatieve output boven vertraagde, mogelijk verfijnde output als de tijdslimiet nadert.

Belangrijkste Bijdragen

1. Systeem-ontwerp voor Betrouwbaarheid: Een architectuur waarbij betrouwbaarheid wordt bereikt door consensus, validatie en normalisatie in plaats van door het vertrouwen op één model.
2. Auditability en Traceerbaarheid: Het systeem genereert "trace artifacts" die documenteren of een referee is ingeschakeld, welke drempels zijn gehaald en welke velden zijn gerepareerd. Dit maakt het proces volledig auditabel voor onderzoekers.
3. Integratie van Weak Supervision: Het gebruik van LLMs als gecontroleerde labelers die outputs genereren die worden samengevoegd via consensus, in plaats van als autonome besluitvormers.
4. Praktische Implementatie: Een gedistribueerde implementatie op Google Cloud met gespecialiseerde GPU-VMs voor extractie, samenvatting en labeling, gekoppeld aan een centrale consensuslaag.

Resultaten en Evaluatie

De evaluatie is kwalitatief en diagnostisch, gericht op betrouwbaarheid en structuur in plaats van traditionele voorspellende nauwkeurigheid (vanwege het gebrek aan grondwaarheid in echte vermiste-personen-zaken).

• Foutmodi: Enkele modellen vertoonden neigingen tot overconfidentie (toewijzen van hoge risico's zonder bewijs) en het genereren van speculatieve informatie.
• Effect van Consensus: Na toepassing van de normalisatie- en consensuslaag werden de outputs systematisch conservatiever en structureel consistenter.
• Stabiliteit: Het systeem produceerde stabiele, schema-gealigneerde artefacten die geschikt zijn voor downstream taken zoals geospatiale modellering en clustering.
• Foutherstel: Het systeem slaagde erin om malformed JSON en schema-afwijkingen succesvol te repareren zonder menselijke tussenkomst.

Betekenis en Conclusie

Het paper demonstreert dat voor veiligheidskritieke toepassingen zoals het opsporen van vermiste personen, LLMs niet als autonome decision-makers mogen worden ingezet. In plaats daarvan moeten ze worden gebruikt als gestructureerde extractoren binnen een streng gecontroleerd, meermodel-systeem.

De belangrijkste conclusie is dat betrouwbaarheid een systeemeigenschap is. Door multi-model consensus, expliciete validatie, QLoRA-fine-tuning en conservatieve ontwerpprincipes, kan AI worden ingezet om complexe, ongestructureerde data om te zetten in actieerbare, auditable intelligence, zelfs onder extreme tijdsdruk en data-schaarste. Dit biedt een blauwdruk voor het ethisch en veilig toepassen van generatieve AI in gevoelige onderzoekscontexten.