ImmigrationReason: A Structured Dataset of U.S. Immigration Appeals for Legal Reasoning Research
Dieses Paper führt ImmigrationReason ein, einen groß angelegten, strukturierten Datensatz aus 12.375 administrativen Rechtsmittelverfahren des U.S. Citizenship and Immigration Services, der die Lücke an juristischen NLP-Ressourcen für administrative Entscheidungsverfahren schließt, indem er detaillierte, durch Experten verifizierte Datensätze zu rechtlichen Rahmenbedingungen, Beweiskraft und Fehlern der Entscheidungsträger bereitstellt, um fortgeschrittene Forschung in den Bereichen Ergebnisprediktion, Fehleranalyse und Design regulatorischer Agenten zu ermöglichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das Gesetz wird oft als ein großes Theater des Gerichtsdramas imaginiert, in dem Richter in Roben Beweise abwägen und endgültige Urteile über das Schicksal von Nationen fällen. Doch die überwiegende Mehrheit der rechtlichen Entscheidungen erreicht niemals einen Gerichtssaal. Sie finden in den stillen, bürokratischen Korridoren der Verwaltungsbehörden statt, wo Regierungsbeamte jedes Jahr Millionen von Anträgen auf Rechte, Leistungen und Status prüfen. In den Vereinigten Staaten umfasst einer der bedeutendsten dieser Prozesse die beschäftigungsbasierte Einwanderung, bei der ausländische Staatsangehörige darum ersuchen, im Land zu leben und zu arbeiten. Diese Fälle werden nicht von einem einzelnen Richter in einem Prozess entschieden, sondern durch ein komplexes System von Beamten, die spezifische Regeln auf individuelle Geschichten anwenden, was häufig zu Ablehnungen führt, die gegen eine höhere Verwaltungsinstanz angefochten werden können. Zu verstehen, wie diese Entscheidungen getroffen werden und wo sie falsch ablaufen könnten, ist nicht nur für die Betroffenen entscheidend, sondern auch für jeden, der daran interessiert ist, wie künstliche Intelligenz eines Tages bei einer solch bedeutsamen regulatorischen Arbeit unterstützen könnte.
Ein Team von Forschern der Stanford University hat nun mit einer neuen Ressource namens ImmigrationReason ein Fenster in diese verborgene Welt der administrativen Justiz geöffnet. Sie haben eine massive Sammlung von 12.375 realen Entscheidungen des Administrative Appeals Office gesammelt und organisiert, der Stelle, die Einspruch gegen Einwanderungsanträge prüft. Die Daten erstrecken sich über zwei Jahrzehnte von 2005 bis 2026 und sind deshalb einzigartig, weil sie nicht nur den Rohtext der Entscheidungen enthalten; sie brechen diese in eine strukturierte Karte der rechtlichen Argumentation auf, die in jedem Fall verwendet wurde. Die Forscher haben jedes spezifische Beweisstück etikettiert, nachverfolgt, ob der ursprüngliche Beamte richtig oder falsch lag, und sogar die exakten Worte festgehalten, die die höhere Instanz verwendete, um die ursprüngliche Entscheidung zu kritisieren. Dieses Detailniveau verwandelt einen Stapel von Rechtsdokumenten in einen strukturierten Datensatz, der von Computern untersucht werden kann, und bietet einen seltenen Einblick in die Mechanik dessen, wie die Regierung entscheidet, wer bleiben darf.
Die Arbeit begann mit der Sammlung jeder öffentlich verfügbaren Entscheidung der Einwanderungsbeschwerdestelle für zwei spezifische Arten von Arbeitsvisa. Das Team sah sich einem erheblichen Hindernis gegenüber: Viele der älteren Dokumente aus der Zeit vor 2017 waren lediglich Scans von Papierdateien, die für Computer notorisch schwer präzise lesbar sind. Standardsoftware verfälschte den Text oft, verwandelte juristische Zitierungen in Unsinn oder ließ ganze Fußnoten weg. Um dies zu lösen, nutzten die Forscher eine leistungsstarke neue Art von künstlicher Intelligenz, um diese Dokumente zu transkribieren, wodurch ein sauberer, lesbarer Text entstand, der die ursprüngliche Struktur und die Zitierungen bewahrte. Sie bauten daraufhin ein ausgeklügeltes System auf, um diese bereinigten Dokumente zu lesen und spezifische Informationen zu extrahieren, wie etwa die Art des angestrebten Visums, die rechtlichen Argumente und das Endergebnis. Um sicherzustellen, dass der Computer keine Fehler machte, ließen sie den Extraktionsprozess dreimal unter Verwendung verschiedener Methoden durchlaufen und setzten ein drittes, hochmodernes KI-Modell als Richter ein, um etwaige Unstimmigkeiten zwischen den ersten beiden Versuchen zu klären. Dieser strenge Prozess stellte sicher, dass der endgültige Datensatz so genau und zuverlässig wie möglich war.
Was diese Sammlung so wertvoll macht, ist die Tiefe ihrer Annotationen. In den meisten juristischen Datensätzen liegt der Fokus auf breiten Kategorien, wie etwa darauf, ob ein Fall gewonnen oder verloren wurde. Hier gingen die Forscher viel tiefer. Sie analysierten jede Entscheidung, um zu sehen, wie das Berufungsorgan jedes einzelne Erfordernis des Gesetzes bewertete. Wenn beispielsweise ein Fall den Nachweis einer „außergewöhnlichen Fähigkeit“ erfordert, listet das Gesetz zehn verschiedene Wege auf, wie eine Person qualifiziert sein könnte. Der Datensatz verfolgt genau, wie das Berufungsorgan über jeden dieser zehn Punkte für jeden einzelnen Fall entschied. Er hält auch fest, ob die höhere Instanz der ursprünglichen Entscheidung zustimmte, ihr teilweise widersprach oder sie vollständig aufhob. Vielleicht am wichtigsten ist, dass der Datensatz fast 9.000 direkte Zitate enthält, in denen das Berufungsorgan den ursprünglichen Beamten explizit für einen Rechtsfehler kritisierte, wie etwa das Ignorieren von Beweisen oder die Anwendung der falschen Regel. Dies bietet eine einzigartige Bibliothek von Beispielen, die zeigen, wie rechtliche Argumentation scheitern kann und wie sie korrigiert werden sollte.
Die Daten offenbaren zudem ein natürliches Experiment darüber, wie sich das Recht im Laufe der Zeit verändert. Im Dezember 2016 wurden die Regeln für eine Art von Visum vollständig neu geschrieben, wobei ein Wechsel von einem Satz an Standards zu einem anderen stattfand. Da der Datensatz die Jahre vor und nach dieser Änderung abdeckt, ermöglicht er es Forschern, genau zu beobachten, wie sich die rechtliche Landschaft verschoben hat. Sie können beobachten, wie sich die Erfolgsquoten für Antragsteller veränderten, wie sich die von Anwälten verwendeten Argumente entwickelten und wie die Interpretation des Gesetzes durch die Regierung an den neuen Rahmen angepasst wurde. Dies schafft eine klare Grenze in den Daten, die Wissenschaftlern hilft zu testen, ob künstliche Intelligenz verstehen kann, dass Gesetze nicht statisch sind, sondern lebendige Systeme, die sich im Laufe der Zeit verändern.
Über die Struktur des Gesetzes hinaus deckt der Datensatz interessante Muster in der Arbeitsweise verschiedener Regierungsstellen auf. Die Forscher fanden heraus, dass die Rate, mit der das Berufungsorgan die ursprünglichen Entscheidungen aufhob, signifikant variierte, je nachdem, welches Regionalbüro die anfängliche Ablehnung ausgesprochen hatte. Einige Büros sahen ihre Entscheidungen öfter als die Hälfte der Zeit aufgehoben, während andere weita viel seltener korrigiert wurden. Dies deutet darauf hin, dass die Erfahrung oder die Interpretation des Gesetzes variieren kann, je nachdem, wo ein Antrag bearbeitet wird. Durch die strukturierte Organisation dieser Informationen können Forscher nun diese institutionellen Unterschiede auf eine Weise untersuchen, die mit reinem Text allein zuvor unmöglich war.
Die Schaffung dieser Ressource öffnet die Tür für eine neue Art der Forschung im Bereich der juristischen Künstlichen Intelligenz. Da der Datensatz die spezifischen Beweise, die angewendeten Rechtsregeln und das endgültige Urteil enthält, kann er dazu verwendet werden, Computer darauf zu trainieren, die Logik der rechtlichen Argumentation zu verstehen. Er kann helfen, Systeme zu entwickeln, die das Ergebnis eines Falles basierend auf den Fakten vorhersagen können, oder – was noch wichtiger ist – Systeme, die erkennen können, wenn eine rechtliche Entscheidung einen Fehler enthält. Da die Regierung bereits damit beginnt, künstliche Intelligenz in ihren Entscheidungsprozessen einzusetzen, ist die Verfügbarkeit eines Werkzeugs, das Fehler im menschlichen Denken identifizieren kann, ein entscheidender Schritt, um sicherzustellen, dass diese neuen Technologien sicher und fair sind. Die Forscher haben den gesamten Datensatz zusammen mit dem verwendeten Code der Öffentlichkeit zur Verfügung gestellt und laden Wissenschaftler sowie Rechtsexperten dazu ein, die komplizierte Maschinerie der administrativen Justiz zu erforschen und Werkzeuge zu entwickeln, die dazu beitragen können, sie für alle besser funktionieren zu lassen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.