HIRA: A Human-in-the-Loop Retrieval-Augmented Cascade for Document Classification in Regulated Industries

In den hochriskanten Welten des Bankwesens, des Gesundheitswesens und des Rechts sind Dokumente die primäre Währung des Vertrauens. Jeder Kreditantrag, jede Krankenakte und jeder Rechtsvertrag muss in die richtige Kategorie einsortiert werden, um Compliance, Sicherheit und Effizienz zu gewährleisten. Jahrzehntelang war der Standardansatz für dieses Sortierproblem darin, einen Computer zu unterrichten, indem man ihm tausende von beschrifteten Beispielen zeigt – ein Prozess, der als Training bekannt ist. Doch diese Methode stößt in regulierten Branchen an ihre Grenzen. Die Regeln des Spiels sind streng: Sensible Dokumente dürfen die sichere Umgebung, in der sie erstellt wurden, nicht verlassen, was bedeutet, dass sie nicht in die Cloud gesendet werden können, um von leistungsstarker, ferngesteuerter künstlicher Intelligenz verarbeitet zu werden. Zudem sind die spezifischen Kategorien, die für die internen Dateien einer Bank benötigt werden, oft einzigartig und ändern sich häufig, was es unmöglich macht, die massiven, bereits existierenden Datensätze zu sammeln, die erforderlich sind, um ein neues Modell von Grund auf neu zu trainieren. Wenn eine Bank versucht, ihr Sortiersystem zu aktualisieren, ist der Prozess so langsam und teuer, dass er oft unpraktikabel wird, wodurch Institutionen mit veralteten Werkzeugen zurückbleiben oder gezwungen sind, sich auf teure menschliche Arbeitskräfte zu verlassen, die jedes einzelne Dokument lesen müssen.

Die Forscher Shangxuan Tian, Yanhui Chen und Carlos Queiroz haben einen anderen Weg aufgezeigt, ein System namens HIRA, das speziell entwickelt wurde, um diese engen Einschränkungen zu bewältigen. Anstatt zu versuchen, ein komplexes Modell jedes Mal neu zu trainieren, wenn ein neuer Dokumententyp erscheint oder eine Regel sich ändert, agiert HIRA wie ein hoch organisierter Bibliothekar, der durch Tun lernt. Das System arbeitet in zwei Phasen. Zuerst scannt es ein neues Dokument und sucht sofort in seinem internen Speicher nach ähnlichen Beispielen, die es zuvor gesehen hat. Es betrachtet den Text, das Layout und sogar die visuelle Form der Seite, um die besten Übereinstimmungen zu finden. Wenn das System eine klare Übereinstimmung findet, sortiert es das Dokument sofort ein. Wenn das Dokument verwirrend ist oder zu sehr wie mehrere verschiedene Kategorien aussieht, rät das System nicht, sondern leitet die Datei an eine zweite, sorgfältigere Phase weiter. Diese Phase nutzt eine leistungsstarke, lokal gehostete künstliche Intelligenz, um das Dokument zusammen mit den besten Beispielen, die das System gefunden hat, zu prüfen und sie zu einer endgültigen Entscheidung aufzufordern. Wenn selbst diese zweite Phase unsicher ist, wird das Dokument einem menschlichen Experten zur Korrektur vorgelegt.

Die wahre Innovation liegt in dem, was nach dieser menschlichen Korrektur geschieht. In traditionellen Systemen ist eine menschliche Korrektur eines Fehlers nur eine einmalige Behebung. In HIRA wird jede Korrektur zu einer dauerhaften Lektion. Wenn ein Mensch ein Dokument korrigiert, speichert das System dieses Beispiel mit einem speziellen Gewicht in seinem Speicher, was es wahrscheinlicher macht, dass es beim nächsten Mal eine ähnliche Dokumentenankunft erkennt. Es aktualisiert zudem eine Karte der Verwirrung und lernt genau, welche Kategorien dazu neigen, miteinander verwechselt zu werden, und welche spezifischen Wörter oder visuellen Merkmale sie voneinander unterscheiden. Dies ermöglicht es dem System, seine Genauigkeit im Laufe der Zeit zu verbessern, ohne jemals seine Kernsoftware neu trainieren oder seine zugrunde liegenden mathematischen Gewichte aktualisieren zu müssen. Das System wird klüger, indem es sich einfach an seine Fehler und die spezifischen Details erinnert, die diese gelöst haben.

Die Forscher testeten diesen Ansatz an zwei sehr unterschiedlichen Datensätzen. Der erste war ein öffentlicher Benchmark mit 2.737 Dokumenten, die von Briefen bis hin zu wissenschaftlichen Berichten reichten. Bei diesem Datensatz startete das System mit einer geringen Anzahl von Beispielen und verarbeitete einen Strom neuer Dokumente. Indem sie Menschen baten, nur etwa ein Viertel der eingehenden Dateien zu korrigieren, stieg die Genauigkeit des Systems auf ein Niveau, das der Leistung eines hypothetischen „Orakels“ entsprach, das jedes einzelne Dokument mit seinem korrekten Label von Beginn an gesehen hatte. Dies war ein bedeutender Sprung, da das System eine Standard-KI, die versuchte ohne Hilfe zu raten, bei weitem übertraf, während es gleichzeitig weit weniger Computerressourcen nutzte. Das System schaffte es, nur etwa 40 % der Dokumente an die zweite, teurere KI-Stufe zu senden, und noch weniger an die menschlichen Prüfer, was bewies, dass es die einfachen Fälle effizient herausfiltern konnte.

Der zweite Test war eine reale Herausforderung, die eine private Sammlung von 30.233 Handelsfinanzdokumenten einer großen Bank beinhaltete. Diese Umgebung war viel schwieriger, mit 80 verschiedenen Kategorien, von denen viele nahezu identisch waren, wie etwa verschiedene Arten von Rechnungen oder Zertifikaten. Die Daten waren stark verzerrt, wobei einige Kategorien Tausende von Beispielen hatten und andere sehr wenige. Trotz dieser Schwierigkeiten verarbeitete das System den gesamten Dokumentenstrom und bat menschliche Mitarbeiter, nur 1.945 von ihnen zu korrigieren, was lediglich 6,4 % der Gesamtzahl entspricht. Dieser geringe menschliche Aufwand war ausreichend, um die Genauigkeit des Systems von einem bescheidenen Niveau auf ein hochzuverlässiges Niveau zu heben. Die Forscher fanden heraus, dass mit dem Lernen des Systems aus diesen Korrekturen die Anzahl der Dokumente, die eine menschliche Überprüfung benötigten, drastisch sank und sich auf einer niedrigen Rate einpendelte, als der Speicher des Systems reicher wurde.

Diese Arbeit zeigt, dass in regulierten Branchen der Weg zu hoher Genauigkeit nicht zwangsläufig massive Datensätze oder ständiges Software-Retraining erfordert. Durch die Kombination eines intelligenten Suchmechanismus mit einer lokalen künstlichen Intelligenz und einem Feedback-Loop, der aus menschlichen Korrekturen lernt, ist es möglich, ein System zu bauen, das sich selbstständig an neue Dokumente und wechselnde Regeln anpasst. Das System respektiert die strikte Anforderung, dass Daten die sichere Umgebung niemals verlassen dürfen, und erreicht dennoch Leistungsniveaus, die mit Systemen konkurrieren, die auf riesigen Mengen an Daten trainiert wurden. Die Ergebnisse legen nahe, dass für Branchen, in denen Datenschutz und Compliance oberste Priorität haben, ein System, das selektiv lernt und sich an seine Korrekturen erinnert, eine praktische und leistungsstarke Alternative zu den traditionellen Methoden des Trainings künstlicher Intelligenz darstellt.