💬 NLP

ImmigrationQA: A Source-Grounded Dataset and Small-Model Adaptation for U.S. Immigration Law

Dit artikel introduceert ImmigrationQA, een brongebaseerde dataset van meer dan 17.000 vraag-antwoordparen afgeleid van Amerikaanse immigratieregels, en demonstreert dat het fijn afstemmen van een klein Llama 3.2-model met 3 miljard parameters op deze data de prestaties op procedurele immigatievragen aanzienlijk verbetert in vergelijking met grotere basismodellen, terwijl de computationele kosten laag blijven.

Oorspronkelijke auteurs: Nazarii Shportun

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nazarii Shportun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je het Amerikaanse immigratiesysteem voor als een enorme, voortdurend veranderende bibliotheek. Binnenin bevinden zich duizenden boeken, regelboeken en brochures geschreven in een zeer specifieke, ingewikkelde taal. Als je naar de VS wilt verhuizen, moet je de exacte pagina vinden die vertelt welk formulier je moet invullen, hoeveel je moet betalen en wanneer je het moet versturen. Maar de bibliotheek is enorm, de regels veranderen vaak en de meeste mensen hebben geen bibliothecaris (een advocaat) om hen de weg te wijzen.

Dit artikel gaat over het bouwen van een slimme, zakformaat gids om mensen te helpen navigeren door die bibliotheek, maar met een zeer belangrijke waarschuwing: het is een hulpje, geen advocaat.

Zo hebben de onderzoekers het gebouwd, met behulp van eenvoudige analogieën:

1. Het verzamelen van de grondstoffen (De "Library Crawl")

De onderzoekers hebben niet simpelweg antwoorden geraden. Ze zijn naar buiten gegaan en hebben de werkelijke officiële regelboeken verzameld.

De Bronnen: Ze pakten 11 verschillende soorten documenten, variërend van de zware, officiële "grondwet-achtige" wetten (zoals de USCIS Policy Manual) tot communityfora waar mensen elkaar vragen stellen.
De Schoonmaak: Ze vonden meer dan 10.000 documenten. Ze hebben ze opgeschoond, duplicaten verwijderd (zoals het vinden van twee exemplaren van hetzelfde boek) en ze in kleine, hanteerbare "stukjes" gehakt (zoals een lange roman in individuele hoofdstukken snijden).
Het Resultaat: Ze kwamen uit op 18.000 kleine tekstfragmenten, die allemaal precies gemarkeerd waren met de herkomst.

2. De Robot leren (De "Vraag & Antwoord Fabriek")

Nu hadden ze een stapel tekst, maar nog geen vragen. Ze moesten een computer leren hoe hij vragen stelt en beantwoordt op basis van alleen wat hij heeft gelezen.

De Leraar: Ze gebruikten een zeer slimme AI (Claude Sonnet) om als leraar te fungeren. Ze gaven de slimme AI een tekstfragment en zeiden: "Lees dit en bedenk een vraag en een correct antwoord gebaseerd alleen op deze tekst."
De Veiligheidscontrole: Ze stelden een strikte filter in. Als de slimme AI een antwoord bedacht dat niet daadwerkelijk in de tekst stond (een "hallucinatie"), gooiden ze dat paar weg. Ze deden dit 22 keer om ervoor te zorgen dat de data eerlijk was.
De Dataset: Dit proces creëerde een enorme stapel flashcards met 17.058 vragen en antwoorden die 13 verschillende gebieden van immigratie beslaan (zoals gezinsvisa, asiel of reisdocumenten).

3. De "Zakformaat Gids" Trainen (De "Kleine Student")

Ze probeerden niet een gigantische, dure supercomputer te trainen. In plaats daarvan trainden ze een klein, lichtgewicht model (Llama 3.2 3B). Denk hierbij aan het trainen van een slimme middelbare scholier in plaats van een PhD-professor.

De Methode: Ze gebruikten een techniek genaamd LoRA. Stel je dit voor als het geven van een set "plaknotities" aan de student met de nieuwe immigratieregels erop geschreven, in plaats van de student te dwingen zijn hele brein te herschrijven. Dit is goedkoop en snel.
De Kosten: Het hele proces kostte ongeveer $29 aan cloud computing-kosten. Dat is minder dan een diner voor twee personen.

4. De Proefrit (Het "Rapport")

Ze legden de getrainde "zakformaat gids" op de proef met een verborgen set van 101 vragen.

De Concurrenten:
1. De Ongetrainde Student: Hetzelfde kleine model voordat het iets had geleerd (Score: 0.85/3).
2. De Grote Professor: Een veel groter, ongetraind model (Llama 3 8B) (Score: 0.85/3).
3. De Expert: Een topniveau AI (Claude Sonnet) die niet de specifieke kaarten had bestudeerd, maar gewoon haar algemene intelligentie gebruikte (Score: 1.52/3).
4. Onze Getrainde Student: Het kleine model nadat het de 17.000 flashcards had bestudeerd (Score: 1.08/3).

De Resultaten:

De getrainde student deed het 27% beter dan de ongetrainde versie van zichzelf.
Hij kreeg 16,8% van de antwoorden "perfect correct", vergeleken met slechts 4% voor de ongetrainde versie.
Waar hij in uitblonk: Hij werd erg goed in "procedurele" vragen, zoals "Welk formulier gebruik ik voor een reisdocument?" of "Hoe pas ik mijn status aan?". Dit zijn vragen die lijken op het volgen van een recept.
Waar hij moeite mee had: Hij was nog steeds zwak in complexe juridische redenering (zoals "Waarom oordeelde deze specifieke rechtszaak op deze manier?") of vragen over zeer recente statistieken. Hij raakte ook soms in de war bij "humanitaire" of "asiel"-zaken, die meer nuance vereisen dan een simpel recept.

De Grote Waarschuwingen (De "Kleine Lettertjes")

De auteurs zijn heel duidelijk over wat dit hulpmiddel NIET is:

Het is geen advocaat. Het kan geen juridisch advies geven voor jouw specifieke situatie.
Het is niet actueel. De bibliotheek met regels die zij gebruikten, was op een specifiek moment "bevroren". Als de overheid morgen een vergoeding of een formuliernummer wijzigt, weet deze gids dat niet.
Het kan fouten maken. In de test gokte het soms een datum of een getal dat goed klonk, maar het was fout (zoals het verwarren van de datum waarop een oorlog eindigde met de datum waarop een specifieke wet veranderde).

De Kernboodschap

De onderzoekers hebben een publiek toegankelijke, goedkope toolkit gebouwd die laat zien dat je een kleine, goedkope computer kunt leren om complexe immigratieregels te begrijpen, mits je het de juiste "flashcards" geeft uit officiële bronnen. Het is een geweldige stap voorwaarts om juridische informatie toegankelijker te maken, maar het is een studiehulpmiddel, geen vervanging voor een gekwalificeerde advocaat.

Alle code, de data en het model zijn gratis te downloaden en te gebruiken, net als een boek uit de openbare bibliotheek.

Technische Samenvatting: ImmigrationQA en de Adaptatie van Kleine Modellen voor het Amerikaanse Immigratierecht

Probleemstelling
Het Amerikaanse immigratierecht vormt een procedureel dicht domein met hoge praktische belangen voor verzoekers, in het bijzonder voor hen die geen juridische vertegenwoordiging hebben. De relevante informatie is verspreid over duizenden pagina's aan officieel beleid (USCIS Policy Manual), federale regelgeving (8 CFR), rechtspraak (BIA-precedenten) en procedurele richtlijnen die frequent veranderen. Algemene Large Language Models (LLMs) hebben moeite met dit domein; ze verwarren regelmatig formuliernummers, geven onjuiste deadlines weer en vervagen de vereisten tussen verschillende visumcategorieën. De kern van de geïdentificeerde moeilijkheid is databeschikbaarheid: hoewel officiële richtlijnen publiekelijk beschikbaar zijn, zijn ze in de pretraining-corpora van de meeste LLM's schaars in verhouding tot de procedurele complexiteit, wat leidt tot hallucinaties en feitelijke fouten.

Methodologie
Het artikel behandelt dit gat via een tweeledige methodologie: de constructie van een bron-georiënteerde dataset en de parameter-efficiënte fine-tuning van een klein taalmodel.

Corpusconstructie (ImmigrationQA):
- Bronnen: De dataset werd samengesteld uit 11 primaire en secundaire bronnen, waaronder de USCIS Policy Manual, 8 CFR, BIA-precedentbeslissingen en community-fora (gelabeld als niet-autoritatief). Dit leverde 10.056 gevalideerde canonieke documenten en 18.308 tekstfragmenten op.
- Generatie: Gestructureerde Vraag-Antwoord (QA) paren werden gegenereerd uit deze fragmenten met behulp van Claude Sonnet 4.6 via Amazon Bedrock. Vijf generatiemodi werden gedefinieerd op basis van het type bron (bijv. faq, rule, form, precedent, statistics), elk met specifieke prompts.
- Validatie: Een rigoureus filterproces verwierp paren waarbij het antwoord geen lexicale overlap had met het bronfragment (om hallucinatie te beperken) of te kort was. Dit resulteerde in een definitieve dataset van 17.058 QA-paren over 13 immigratie-subdomeinen. Elk paar is voorzien van metadata, inclusioneel het type antwoord, subtopic, autoriteitsniveau en een vlag voor tijdsgevoeligheid.
Modeladaptatie:
- Architectuur: Een Llama 3.2 3B Instruct-model is gefinetuned met behulp van Low-Rank Adaptation (LoRA).
- Configuratie: De training maakte gebruik van een rank ( $r$ ) van 32 en een alpha van 64, gericht op alle vier de aandachtsprojectiematrices. De training werd uitgevoerd op een AWS SageMaker ml.g5.2xlarge instantie voor 2 epochs met een leersnelheid van 5e-5.
- Kostenefficiëntie: De volledige pijplijn, inclusief datageneratie en modeltraining, kostte ongeveer $29 aan cloud computing.
Evaluatie:
- Opzet: Het gefinetunede model werd geëvalueerd tegenover een gehouden split van 993 paren (met behulp van een gestratificeerde steekproef van 101 voorbeelden voor gedetailleerde scoring).
- Baselines: Prestaties werden vergeleken met het Llama 3 8B base model (zero-shot) en een zero-shot Claude Sonnet 4.6 baseline.
- Metriek: Er werd een "LLM-als-rechter"-paradigma gehanteerd, waarbij Claude Sonnet 4.6 voorspellingen scoorde op een 0–3 rubric gebaseerd op feitelijke juistheid en volledigheid.

Belangrijkste Resultaten

Prestatiewinst: Het gefinetunede 3B-model behaalde een gemiddelde score van 1.08/3.0, een relatieve verbetering van 27% ten opzichte van het Llama 3 8B base model (0.85/3.0). Het percentage volledig correcte antwoorden (score van 3) steeg van 4% naar 16,8%.
Variantie per Subdomein: Verbeteringen waren geconcentreerd in procedurele subdomeinen zoals reisdocumenten (+1.00 gemiddelde score), aanpassing van status (adjustment of status) en niet-immigrant visa. In deze gebieden presteerde het gefinetunede model aanzienlijk beter dan het base model, dat vaak bijna nul scoorde.
Beperkingen: Het gefinetunede model presteerde slechter dan het 8B base model op complexe subdomeinen die vereisen dat er meerstaps juridische redenering of specifieke regelgevende citaten worden toegepast, zoals verwijdering (removal), humanitair, toelaatbaarheid (admissibility) en asiel. Het had ook moeite met tijdsgevoelige statistieken en numerieke feiten, waarbij het vaak plausibele maar onjuiste waarden invulde.
Baseline Vergelijking: Hoewel het gefinetunede model verbeterde ten opzichte van zijn eigen modelfamilie, overtrof het de zero-shot Claude Sonnet 4.6 baseline (1.52/3.0) niet, wat de kloof in het aantal parameters en pretraining weerspiegelt.

Betekenis en Claims
Het artikel claimt dat de primaire bijdrage de ImmigrationQA-dataset en de reproduceerbare pijplijn is voor het construeren van domeinspecifieke, bron-georiënteerde QA-data uit officiële overheidsbronnen tegen commodity cloud-kosten. Het werk demonstreert dat:

Een hoogwaardig, controleerbaar corpus van meer dan 10.000 immigatiedocumenten kan worden samengesteld en omgezet in gestructureerde trainingsdata voor minder dan $30.
Het finetunen van een klein (3B parameters) model op deze data significante verbeteringen oplevert in procedurele nauwkeurigheid vergeleken met grotere, niet-getunede base modellen, specifiek voor discrete, op regels gebaseerde queries.
De aanpak een fundament biedt voor de adaptatie van kleine modellen voor juridische toepassingen, hoewel de auteurs expliciet vermelden dat het resulterende model geen vervanging is voor juridisch advies.

De auteurs benadrukken dat het systeem beperkt wordt door zijn statische corpus (bevroren op de datum van de crawl) en zijn parametrische aard (het ontbreken van retrieval augmentation), waardoor het ongeschikt is voor tijdsgevoelig juridisch advies of complexe, meerstaps juridische redenering. De dataset, het model, de code en de prompts worden publiekelijk vrijgegeven om verdere research in dit domein te ondersteunen.