ImmigrationReason: A Structured Dataset of U.S. Immigration Appeals for Legal Reasoning Research

De wet wordt vaak voorgesteld als een grootschalig theater van rechtszaaldrama, waar rechters in gewaden bewijsmateriaal wegen en definitieve vonnissen vellen over het lot van naties. Toch bereikt de overgrote meerderheid van de juridische beslissingen nooit een rechtszaal. Ze vinden plaats in de stille, bureaucratische gangen van administratieve instanties, waar overheidsfunctionarissen jaarlijks miljoenen aanvragen voor rechten, uitkeringen en status beoordelen. In de Verenigde Staten omvat een van de meest significante van deze processen de werkgelegenheidsgerelateerde immigratie, waarbij buitenlandse onderdanen verzoeken om in het land te mogen wonen en werken. Deze zaken worden niet beslist door een enkele rechter in een proces, maar door een complex systeem van ambtenaren die specifieke regels toepassen op individuele verhalen, wat vaak leidt tot afwijzingen die kunnen worden beroep tegen een hogere administratieve instantie. Het begrijpen van hoe deze beslissingen worden genomen, en waar ze fout kunnen gaan, is cruciaal niet alleen voor de betrokken personen, maar ook voor iedereen die geïnteresseerd is in hoe kunstmatige intelligentie op een dag dergelijke hoogwaardige regelgevende werkzaamheden zou kunnen ondersteunen.

Een team van onderzoekers aan Stanford University heeft nu een venster geopend naar deze verborgen wereld van administratieve rechtspraak met een nieuwe bron genaamd ImmigrationReason. Zij hebben een enorme collectie van 12.375 echte beslissingen van de Administrative Appeals Office verzameld en georganiseerd, het orgaan dat afgewezen immigratieverzoeken beoordeelt. De dataset, die twee decennia beslaat van 2005 tot 2026, is uniek omdat deze niet alleen de ruwe tekst van de beslissingen bevat; het breekt ze af in een gestructureerde kaart van de juridische redenering die in elke zaak werd gebruikt. De onderzoekers hebben elk specifiek stuk bewijs gelabeld, bijgehouden of de oorspronkelijke ambtenaar gelijk had of niet, en zelfs de exacte woorden vastgelegd die de hogere autoriteit gebruikte om de initiële beslissing te bekritiseren. Dit niveau van detail transformeert een stapel juridische documenten in een gestructureerde dataset die door computers kan worden bestudeerd, wat een zeldzaam inkijkje biedt in de mechanica van hoe de overheid beslist wie mag blijven.

Het werk begon met het verzamelen van elke publiekelijk beschikbare beslissing van de immigratie-beroepsinstantie voor twee specifieke typen werkvisums. Het team liep tegen een aanzienlijke hindernis aan: veel oudere documenten van vóór 2017 waren simpelweg gescande afbeeldingen van papieren dossiers, die berucht moeilijk zijn voor computers om accuraat te lezen. Standaardsoftware maakte vaak de tekst onleesbaar, waardoor juridische citaten in onzin veranderden of hele voetnoten werden gemist. Om dit op te lossen, gebruikten de onderzoekers een krachtig nieuw type kunstmatige intelligentie om deze documenten te transcriberen, waardoor een schone, leesbare tekst ontstond die de oorspronkelijke structuur en citaten conserveerde. Vervolgens bouwden zij een geavanceerd systeem om deze schoongemaakte documenten te lezen en specifieke informatie te extraheren, zoals het type visum dat wordt gezocht, de juridische argumenten die zijn aangevoerd en de uiteindelijke uitkomst. Om te garanderen dat de computer geen fouten maakte, lieten ze het extractieproces drie keer uitvoeren met verschillende methoden en lieten ze een derde, zeer geavanceerd AI-model optreden als rechter om eventuele onenigheid tussen de eerste twee pogingen op te lossen. Dit rigoureuze proces zorgde ervoor dat de uiteindelijke dataset zo nauwkeurig en betrouwbaar mogelijk was.

Wat deze collectie zo waardevol maakt, is de diepgang van de annotaties. In de meeste juridische datasets ligt de focus op brede categorieën, zoals of een zaak is gewonnen of verloren. Hier gingen de onderzoekers veel dieper. Ze analyseerden elke beslissing om te zien hoe de beroepsinstantie elke specifieke vereiste van de wet evalueerde. Bijvoorbeeld, in een zaak die bewijs van "buitengewone bekwaamheid" vereist, stelt de wet tien verschillende manieren op waarop iemand zich zou kunnen kwalificeren. De dataset houdt precies bij hoe de beroepsinstantie over elk van die tien punten voor elke individuele zaak oordeelde. Het legt ook vast of de hogere autoriteit het eens was met de oorspronkelijke ambtenaar, gedeeltelijk van mening verschilde, of de beslissing volledig vernietigde. Misschien wel het belangrijkste is dat de dataset bijna 9.000 directe citaten bevat waarin de beroepsinstantie de oorspronkelijke ambtenaar expliciet bekritiseerde voor het maken van een juridische fout, zoals het negeren van bewijs of het toepassen van de verkeerde regel. Dit biedt een unieke bibliotheek van voorbeelden die laten zien hoe juridische redenering precies kan falen en hoe deze gecorrigeerd moet worden.

De data onthullen ook een natuurlijk experiment in hoe de wet in de loop van de tijd verandert. In december 2016 werden de regels voor één type visum volledig herschreven, waarbij de overstap werd gemaakt van één set standaarden naar een andere. Omdat de dataset de jaren vóór en na deze verandering beslaat, stelt het onderzoekers in staat om precies te zien hoe het juridische landschap is verschoven. Ze kunnen observeren hoe de succespercentages voor aanvragers veranderden, hoe de door advocaten gebruikte argumenten evolueerden en hoe de interpretatie van de wet door de overheid zich aanpaste aan het nieuwe kader. Dit creëert een duidelijke grens in de data die wetenschappers helpt te testen of kunstmatige intelligentie kan begrijpen dat wetten niet statisch zijn, maar levende systemen die in de loop van de tijd veranderen.

Naast de structuur van de wet, onthult de dataset interessante patronen in de werking van verschillende overheidsinstanties. De onderzoekers ontdekten dat de snelheid waarmee de beroepsinstantie de oorspronkelijke beslissingen vernietigde, aanzienlijk varieerde afhankelijk van welke regionale instantie de initiële afwijzing had uitgebracht. Sommige kantoren zagen hun beslissingen meer dan de helft van de tijd worden vernietigd, terwijl anderen veel minder vaak werden teruggedraaid. Dit suggereert dat de ervaring of interpretatie van de wet kan verschillen afhankelijk van waar een aanvraag wordt verwerkt. Door deze informatie op een gestructureerde manier te organiseren, kunnen onderzoekers nu deze institutionele verschillen bestuderen op een manier die voorheen met alleen ruwe tekst onmogelijk was.

De creatie van deze bron opent de deur naar een nieuw soort onderzoek in de juridische kunstmatige intelligentie. Omdat de dataset de specifieke bewijslast bevat, de toegepaste juridische regels en het uiteindelijke oordeel, kan het worden gebruikt om computers te trainen om de logica van juridische redenering te begrijpen. Het kan helpen bij het bouwen van systemen die de uitkomst van een zaak kunnen voorspellen op basis van de feiten, of nog belangrijker, systemen die kunnen detecteren wanneer een juridische beslissing een fout bevat. Aangezien de overheid al begint met het gebruik van kunstmatige intelligentie in haar besluitvormingsprocessen, is het hebben van een instrument dat fouten in menselijke redenering kan identificeren een cruciale stap om te waarborgen dat deze nieuwe technologieën veilig en eerlijk zijn. De onderzoekers hebben de volledige dataset, samen met de code die is gebruikt om deze op te bouwen, publiekelijk beschikbaar gesteld, in een uitnodiging aan wetenschappers en juridische experts om de complexe machinerie van de administratieve rechtspraak te verkennen en instrumenten te bouwen die kunnen helpen om het beter te laten werken voor iedereen.