💬 NLP

ImmigrationQA: A Source-Grounded Dataset and Small-Model Adaptation for U.S. Immigration Law

Dieses Paper stellt ImmigrationQA vor, einen quellengestützten Datensatz mit über 17.000 Frage-Antwort-Paaren, die aus den US-Einwanderungsbestimmungen abgeleitet wurden, und zeigt auf, dass das Fine-Tuning eines kleinen Llama 3.2-Modells mit 3 Milliarden Parametern auf diesen Daten dessen Leistung bei prozeduralen Einwanderungsanfragen im Vergleich zu größeren Basismodellen signifikant verbessert, während gleichzeitig die Rechenkosten niedrig gehalten werden.

Ursprüngliche Autoren: Nazarii Shportun

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nazarii Shportun

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich das US-Einwanderungssystem als eine riesige, sich ständig verändernde Bibliothek vor. Im Inneren befinden sich tausende von Büchern, Regelwerken und Broschüren, die in einer sehr spezifischen, komplizierten Sprache verfasst sind. Wenn Sie in die USA ziehen möchten, müssen Sie genau die Seite finden, die Ihnen sagt, welches Formular Sie ausfüllen müssen, wie viel Sie bezahlen müssen und wann Sie es absenden sollen. Aber die Bibliothek ist riesig, die Regeln ändern sich oft und die meisten Menschen haben keinen Bibliothekar (einen Anwalt), der ihnen hilft, den Weg zu finden.

In dieser Arbeit geht es darum, einen intelligenten, taschengroßen Wegweiser zu bauen, der den Menschen hilft, sich in dieser Bibliothek zurechtzufinden, aber mit einer sehr wichtigen Warnung: Er ist ein Helfer, kein Anwalt.

So haben die Forscher ihn gebaut, unter Verwendung einfacher Analogien:

1. Das Sammeln der Rohmaterialien (Der „Library Crawl“)

Die Forscher haben nicht einfach die Antworten geraten. Sie sind herausgegangen und haben die tatsächlichen offiziellen Regelwerke gesammelt.

Die Quellen: Sie haben 11 verschiedene Arten von Dokumenten gesammelt, die von den schweren, offiziellen „verfassungstypischen“ Gesetzen (wie dem USCUS Policy Manual) bis hin zu Community-Foren reichen, in denen Menschen sich gegenseitig Fragen stellen.
Die Bereinigung: Sie fanden über 10.000 Dokumente. Sie haben sie aufbereitet, Duplikate entfernt (wie das Finden von zwei Kopien desselben Buches) und sie in kleine, handliche „Häppchen“ zerlegt (wie das Schneiden eines langen Romans in einzelne Kapitel).
Das Ergebnis: Sie endeten mit 18.000 kleinen Textfetzen, die alle exakt markiert sind, woher sie stammen.

2. Den Roboter lehren (Die „Frage-und-Antwort-Fabrik“)

Nun hatten sie einen Stapel Text, aber keine Fragen. Sie mussten einem Computer beibringen, Fragen zu stellen und zu beantworten, die sich nur auf das beziehen, was er gelesen hat.

Der Lehrer: Sie verwendeten eine sehr intelligente KI (Claude Sonnet), um als Lehrer zu fungieren. Sie gaben der smarten KI ein Textstück und sagten: „Lies dies und erfinde eine Frage und eine korrekte Antwort basierend nur auf diesem Text.“
Die Sicherheitsprüfung: Sie richteten einen strengen Filter ein. Wenn die smarte KI eine Antwort erfand, die gar nicht im Text enthalten war (eine „Halluzination“), warfen sie dieses Paar weg. Sie taten dies 22 Mal, um sicherzustellen, dass die Daten ehrlich sind.
Der Datensatz: Dieser Prozess erzeugte ein riesiges Kartenspiel aus 17.058 Fragen und Antworten, die 13 verschiedene Bereiche der Einwanderung abdecken (wie Familienvisa, Asyl oder Reisedokumente).

3. Den „Taschenführer“ trainieren (Der „kleine Schüler“)

Sie versuchten nicht, einen riesigen, teuren Supercomputer zu trainieren. Stattdessen trainierten sie ein kleines, leichtgewichtiges Modell (Llama 3.2 3B). Stellen Sie sich das so vor, als würde man einen klugen Oberstufenschüler trainieren statt eines PhD-Professors.

Die Methode: Sie verwendeten eine Technik namens LoRA. Stellen Sie sich das so vor, als würde man dem Schüler einen Satz „Post-its“ geben, auf denen die neuen Einwanderungsregeln geschrieben stehen, anstatt ihn zu zwingen, sein gesamtes Gehirn neu zu schreiben. Dies ist günstig und schnell.
Die Kosten: Der gesamte Prozess kostete etwa 29 $ an Cloud-Computing-Gebühren. Das ist weniger als ein Abendessen für zwei Personen.

4. Die Testfahrt (Das „Zeugnis“)

Sie stellten den trainierten „Taschenführer“ einem versteckten Satz von 101 Fragen gegenüber.

Die Konkurrenten:
1. Der ungelernte Schüler: Dasselbe kleine Modell vor dem Lernen (Punktzahl: 0,85/3).
2. Der große Professor: Ein viel größeres, ungelerntes Modell (Llama 3 8B) (Punktzahl: 0,85/3).
3. Der Experte: Eine erstklassige KI (Claude Sonnet), die nicht die spezifischen Karten gelernt hatte, sondern nur ihr allgemeines Wissen nutzte (Punktzahl: 1,52/3).
4. Unser trainierter Schüler: Das kleine Modell nach dem Studium der 17.000 Karteikarten (Punktzahl: 1,08/3).

Die Ergebnisse:

Der trainierte Schüler war 27 % besser als die ungelernte Version seiner selbst.
Er lieferte 16,8 % der Antworten „perfekt korrekt“, verglichen mit nur 4 % bei der ungelernte Version.
Wo er glänzte: Er wurde sehr gut in „prozeduralen“ Fragen, wie „Welches Formular verwende ich für ein Reisedokument?“ oder „Wie passe ich meinen Status an?“. Dies ist vergleichbar mit dem Befolgen eines Rezepts.
Wo er kämpfte: Er war immer noch schwach bei komplexer rechtlicher Argumentation (wie „Warum hat dieses spezifische Gericht so entschieden?“) oder Fragen zu sehr aktuellen Statistiken. Er war auch manchmal verwirrt bei „humanitären“ oder „Asyl“-Fällen, die mehr Nuancen erfordern als ein einfaches Rezept.

Die großen Warnungen (Das „Kleingedruckte“)

Die Autoren sind sich sehr klar darüber, was dieses Werkzeug NICHT ist:

Es ist kein Anwalt. Es kann keine Rechtsberatung für Ihre spezifische Situation geben.
Es ist nicht auf dem neuesten Stand. Die Bibliothek der Regeln, die sie verwendet haben, war an einem bestimmten Datum „eingefroren“. Wenn die Regierung morgen eine Gebühr oder eine Formularnummer ändert, wird dieser Wegweiser das nicht wissen.
Es kann Fehler machen. Im Test hat es manchmal ein Datum oder eine Zahl genannt, die richtig klang, aber falsch war (wie die Verwechslung des Datums, an dem ein Krieg endete, mit dem Datum, an dem ein spezifisches Gesetz geändert wurde).

Das Fazelt

Die Forscher haben ein öffentlich zugängliches, kostengünstiges Toolkit gebaut, das zeigt, dass man einem kleinen, günstigen Computer beibringen kann, komplexe Einwanderungsregeln zu verstehen, wenn man ihm die richtigen „Karteikarten“ aus offiziellen Quellen gibt. Es ist ein großartiger Schritt nach vorn, um rechtliche Informationen zugänglicher zu machen, aber es ist ein Lernmittel, kein Ersatz für einen qualifizierten Anwalt.

Der gesamte Code, die Daten und das Modell sind kostenlos zum Herunterladen und Nutzen verfügbar, genau wie ein Buch in einer öffentlichen Bibliothek.

Technisches Resümee: ImmigrationQA und die Anpassung kleiner Modelle für das US-Einwanderungsrecht

Problemstellung
Das US-Einwanderungsrecht stellt ein prozedural dichtes Fachgebiet mit hohen praktischen Auswirkungen für Antragsteller dar, insbesondere für diejenigen, die keine rechtliche Vertretung haben. Die relevanten Informationen sind über tausende Seiten offizieller Richtlinien (USCIS Policy Manual), Bundesvorschriften (8 CFR), Rechtsprechung (BIA-Präzedenzfälle) und prozedurale Leitfäden verstreut, die sich häufig ändern. Allgemeine Large Language Models (LLMs) haben in diesem Bereich Schwierigkeiten, da sie häufig Formularnummern verwechseln, Fristen falsch angeben und Anforderungen verschiedener Visakategorien miteinander konfundieren. Die identifizierte Kernschwierigkeit ist die Datenknappheit: Obwohl offizielle Leitlinien öffentlich zugänglich sind, sind sie im Vergleich zu ihrer prozeduralen Komplexität in den Vortrainings-Korpora der meisten LLMs unterrepräsentiert, was zu Halluzinationen und faktischen Fehlern führt.

Methodik
Die Arbeit adressiert diese Lücke durch eine zweiteilige Methodik: die Konstruktion eines quellengestützten Datensatzes und das parametereffiziente Fine-Tuning eines kleinen Sprachmodells.

Korpus-Konstruktion (ImmigrationQA):
- Quellen: Der Datensatz wurde aus 11 primären und sekundären Quellen zusammengestellt, darunter das USCIS Policy Manual, 8 CFR, BIA-Präzedenzentscheidungen und Community-Foren (als nicht-autoritativ gekennzeichnet). Dies ergab 10.056 validierte kanonische Dokumente und 18.308 Textfragmente.
- Generierung: Strukturierte Frage-Antwort-Paare (QA-Paare) wurden mithilfe von Claude Sonnet 4.6 via Amazon Bedrock aus diesen Fragmenten generiert. Es wurden fünf Generierungsmodi basierend auf dem Quellentyp definiert (z. B. faq, rule, form, precedent, statistics), jeweils mit distinkten Prompts.
- Validierung: Ein strenger Filterprozess lehnte Paare ab, bei denen die Antwort keine lexikalische Überlappung mit dem Quellspan aufwies (um Halluzinationen zu minimieren) oder zu kurz war. Dies resultierte in einem finalen Datensatz von 17.058 QA-Paaren über 13 Unterbereiche des Einwanderungsrechts. Jedes Paar ist mit Metadaten versehen, einschließlich Antworttyp, Subtopik, Autoritätsstufe und einem Flag für Zeitsensitivität.
Modellanpassung:
- Architektur: Ein Llama 3.2 3B Instruct Modell wurde mittels Low-Rank Adaptation (LoRA) feinjustiert.
- Konfiguration: Das Training nutzte einen Rang ( $r$ ) von 32 und ein Alpha von 64, wobei alle vier Attention-Projektionsmatrizen adressiert wurden. Das Training wurde auf einer AWS SageMaker ml.g5.2xlarge Instanz für 2 Epochen mit einer Lernrate von 5e-5 durchgeführt.
- Kosteneffizienz: Die gesamte Pipeline, einschließlich Datengenerierung und Modelltraining, kostete etwa 29 $ an Cloud-Rechenleistung.
Evaluierung:
- Setup: Das feinjustierte Modell wurde gegen einen gehaltenen Split von 993 Paaren evaluiert (unter Verwendung einer stratifizierten Stichprobe von 101 Beispielen für eine detaillierte Bewertung).
- Baselines: Die Leistung wurde mit dem Llama 3 8B Base-Modell (Zero-Shot) und einer Zero-Shot Claude Sonnet 4.6 Baseline verglichen.
- Metrik: Es wurde ein „LLM-as-judge“-Paradigma angewandt, bei dem Claude Sonnet 4.6 die Vorhersagen auf einer Skala von 0–3 basierend auf faktischer Korrektheit und Vollständigkeit bewertete.

Wichtigste Ergebnisse

Leistungssteigerungen: Das feinjustierte 3B-Modell erreichte einen Mittelwert von 1,08/3,0, was eine relative Verbesserung von 27 % gegenüber dem Llama 3 8B Base-Modell (0,85/3,0) darstellt. Die Rate der vollkommen korrekten Antworten (Score von 3) stieg von 4 % auf 16,8 %.
Varianz zwischen den Subdomänen: Die Verbesserungen konzentrierten sich auf prozedurale Subdomänen wie Reisedokumente (+1,00 Mittelwert), Statusänderung (Adjustment of Status) und Nicht-Einwanderer-Visa. In diesen Bereichen übertraf das feinjustierte Modell das Base-Modell signifikant, welches oft nahe Null punktete.
Limitierungen: Das feinjustierte Modell schnitt schlechter ab als das 8B Base-Modell in komplexen Subdomänen, die mehrstufige rechtliche Argumentation oder spezifische regulatorische Zitate erfordern, wie etwa Abschiebung (Removal), humanitäre Fragen, Einreiseverbot (Admissibility) und Asyl. Es hatte zudem Schwierigkeiten mit zeitsensiblen Statistiken und numerischen Fakten und ersetzte diese oft durch plausible, aber falsche Werte.
Vergleich mit der Baseline: Während das feinjustierte Modell gegenüber seiner eigenen Modellfamilie Verbesserungen erzielte, übertraf es die Zero-Shot Claude Sonnet 4.6 Baseline (1,52/3,0) nicht, was den Unterschied in der Parameteranzahl und dem Vortraining widerspiegelt.

Bedeutung und Ansprüche
Die Arbeit beansprucht als primären Beitrag den ImmigrationQA-Datensatz und die reproduzierbare Pipeline zur Konstruktion domänenspezifischer, quellengestützter QA-Daten aus offiziellen Regierungsquellen zu Commodity-Cloud-Kosten. Die Arbeit zeigt auf, dass:

Ein hochwertiger, auditierbarer Korpus von über 10.000 Einwanderungsdokumenten aufgebaut und in strukturierte Trainingsdaten für unter 30 $ umgewandelt werden kann.
Das Fine-Tuning eines kleinen Modells (3B Parameter) auf diesen Daten signifikante Verbesserungen der prozeduralen Genauigkeit gegenüber größeren, ungetunten Base-Modellen liefert, insbesondere für diskrete, regelbasierte Abfragen.
Dieser Ansatz eine Grundlage für die rechtliche Anpassung kleinerer Modelle bietet, wobei die Autoren explizit betonen, dass das resultierende Modell kein Ersatz für Rechtsbeistand ist.

Die Autoren unterstreichen, dass das System durch seinen statischen Korpus (eingefroren zum Zeitpunkt des Crawlings) und seine parametrische Natur (ohne Retrieval Augmentation) begrenzt ist, was es für zeitsensitive Rechtsberatung oder komplexe, mehrstufige juristische Argumentationen ungeeignet macht. Der Datensatz, das Modell, der Code und die Prompts werden zur Unterstützung weiterer Forschung in diesem Bereich öffentlich zur Verfügung gestellt.