DOLPHIN: A Privacy-Preserving Digital Investigation Readiness Assessment Framework based on Offline Large Language Models and Retrieval-Augmented Generation
Dit artikel introduceert DOLPHIN, een privacy-bewarend framework dat gebruikmaakt van offline grote taalmodellen en retrieval-augmented generation om de gereedheid voor digitale forensische onderzoeken aanzienlijk te verbeteren door de volledigheid van bewijsmateriaal nauwkeurig te beoordelen, specifieke hiaten te detecteren en de voorbereidingstijd van zaken te verkorten, terwijl wordt gewaarborgd dat gegevens lokaal blijven.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteur. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van strafrechtelijke onderzoeken vindt het meest kritieke werk vaak plaats voordat er ook maar één stuk bewijsmateriaal formeel in een laboratorium wordt geanalyseerd. Voordat rechercheurs een harde schijf of een telefoon kunnen onderzoeken, moeten ze eerst bepalen of ze wel genoeg informatie hebben om überhaupt te kunnen beginnen. Deze voorbereidende fase, bekend als forensische gereedheid (forensic readiness), houdt het verzamelen in van een chaotische mix van documenten: een verklaring van het slachtoffer, een politiebericht, camerabeelden, getuigenverklaringen, eigendomsbewijzen en digitale tijdstempels. Traditioneel gezien is het sorteren door deze stapel een traag, handmatig proces. Als een cruciaal document ontbreekt of een tijdlijn onduidelijk is, kan het hele onderzoek stagneren, of erger nog, voortgaan op een wankele basis. De uitdaging is niet alleen het vinden van het bewijs, maar ook het snel beoordelen of de beschikbare materialen compleet genoeg zijn om een serieus onderzoek te ondersteunen, terwijl gevoelige details strikt privé blijven en weg van het internet worden gehouden.
Een nieuw raamwerk genaamd DOLPHIN biedt een andere manier om deze vroege fase van sorteren aan te pakken. Het systeem, ontwikkeld door onderzoekers aan het SRM Institute of Science and Technology in India, is ontworpen om te fungeren als een privacy-gerichte assistent voor onderzoekers. In plaats van vertrouwelijke dossierbestanden naar een cloudserver te sturen waar ze blootgesteld kunnen worden, draait DOLPHIN volledig op een lokale computer. Het maakt gebruik van een type kunstmatige intelligentie dat bekend staat als een groot taalmodel (large language model), dat getraind is om menselijke taal te begrijpen en te genereren, gecombineerd met een retrievel-systeem dat specifieke feiten uit de geüploade documenten haalt. Deze opzet stelt de computer in staat om een dossier te lezen, te controleren op ontbrekende onderdelen en te scoren hoe gereed het onderzoek is, zonder dat dit ooit de beveiligde kamer van de onderzoeker verlaat. Het doel is om een tedieuze, subjectieve checklist te veranderen in een snelle, betrouwbare en private beoordeling.
Om te testen of deze aanpak werkt, creëerden de onderzoekers een gecontroleerde omgeving met behulp van 300 gesimuleerde onderzoeksscenario's gebaseerd op voertuigdiefstalzaken. Ze gebruikten geen echte politiedossiers om de privacy te beschermen; in plaats daarvan bouwden ze digitale versies van zaken die varieerden van het hebben van alle mogele documenten tot het hebben van zeer weinig. Sommige scenario's bevatten een volledige verklaring van het slachtoffer, een politiebericht, camerabeelden en getuigenverklaringen, terwijl andere doelbewust specifieke zaken weglieten zoals eigendomsbewijzen of digitale tijdstempels. De onderzoekers voedden deze scenario's vervolgens aan het DOLPHIN-systeem om te zien of het de volledigheid van elke zaak accuraat kon beoordelen. Het systeem kreeg twee hoofdtaken: eerst om een gereedheidsscore toe te wijzen die aangaf of een zaak klaar was voor diepgaande forensische analyse, en ten tweede om precies te identificeren wat er ontbrak, zoals een gat in het visuele bewijs of een gebrek aan bevestiging door getuigen.
De resultaten toonden aan dat het systeem met hoge nauwkeurigheid presteerde. Wanneer gevraagd werd om de gereedheid van een zaak te classificeren, kwam DOLPHIN in ongeveer 92 procent van de gevallen overeen met het oordeel van menselijke experts. Het was bijzonder goed in het opsporen van specifieke soorten ontbrekende informatie. Het kon bijvoorbeeld betrouwbaar detecteren wanneer een zaak een verklaring van het slachtoffer miste of wanneer de tijdlijn onderbroken was door ontbrekende digitale metadata. Het systeem categoriseerde deze ontbrekende onderdelen in vier duidelijke groepen: hiaten in documentatie, hiaten in getuigenbevestiging, hiaten in visueel bewijs zoals CCTV, en hiaten in de tijdlijn. Door deze specifieke gaten te identificeren, bood het systeem onderzoekers een helder beeld van wat ze nog moesten vinden voordat ze verder konden gaan, in plaats van slechts een vaag "ja" of "nee"-antwoord te geven.
Een cruciaal onderdeel van de studie was ervoor zorgen dat het systeem geen dingen verzint. Grote taalmodellen kunnen soms zelfverzekerd klinkende maar onjuiste informatie genereren, een probleem dat bekend staat als hallucinatie. Om dit te voorkomen, gebruikten de onderzoekers een techniek genaamd retrieval-augmented generation, die de computer dwingt om naar de daadwerkelijke documenten in het dossier te kijken voordat hij antwoordt. Ze verbeterden dit verder door de zoekresultaten te filteren met metadata, waardoor het systeem alleen keek naar documenten die bij de specifieke zaak die het analyseerde hoorden. Deze combinatie verminderde het percentage niet-onderbouwde of onjuiste verklaringen van meer dan 16 procent naar slechts 2 procent. Met andere woorden, het systeem werd veel betrouwbaarder omdat het strikt verbonden was aan het geleverde bewijs, in plaats van te vertrouwen op zijn algemene trainingsdata.
Naast nauwkeurigheid en vertrouwen, mat de studie hoeveel tijd het systeem bespaarde. Een menselijke onderzoeker die handmatig een dossier doorliep, deed er gemiddeld ongeveer 15,5 minuten over om de volledigheid te controleren en ontbrekende onderdelen te identificeren. Met de hulp van DOLPHIN daalde die tijd naar ongeveer 4,4 minuten per zaak. Deze versnelling ging niet ten koste van de kwaliteit; de door het systeem gegenereerde rapporten waren vollediger dan die van handmatige checklists, en bevatten consequent een samenvatting van het bewijs, een lijst met ontbrekende items, een gereedheidsscore en aanbevolen vervolgstappen. Het systeem bewees dat het de zware taken kon uitvoeren van het organiseren van informatie, waardoor menselijke onderzoekers hun energie konden richten op het eigenlijke onderzoek in plaats van op administratieve sortering.
De onderzoekers benadrukten dat DOLPHIN geen hulpmiddel is dat definitieve juridische beslissingen neemt of de noodzaak voor menselijk oordeel vervangt. Het is ontworpen als een ondersteunend systeem om onderzoekers te helpen hun gedachten en materialen te organiseren voordat de formele forensische examinatie begint. De studie werd uitgevoerd met gesimuleerde gegevens op standaard consumenten-laptops, wat aantoont dat deze vorm van privacy-beschermende assistentie geen dure, enterprise-niveau supercomputers vereist. Hoewel het systeem grote belofte toonde in deze gecontroleerde tests, merkt de auteur op dat toekomstig werk de prestaties moet valideren met echte politiezaken, die veel complexer, ambivalenter en juridisch gevoeliger kunnen zijn dan de simulaties die hier zijn gebruikt. Voor nu suggereert de studie dat het lokaal en geworteld houden van kunstmatige intelligentie in specifieke documenten een krachtige manier kan zijn om digitale onderzoeken voor te bereiden zonder de privacy in gevaar te brengen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.