🤖 AI

RAPT: Retrieval-Augmented Post-hoc Thresholding for Multi-Label Classification

RAPT ist ein deploymentsorientierter, modellagnostischer retrievalgestützter Wrapper, der die Multi-Label-Klassifizierung verbessert, indem es post-hoc-Schwellenwerte dynamisch an ähnliche historische Fälle anpasst, und dabei in der Genauigkeit konsistent statische Baselines und Few-Shot-LLMs übertrifft, während es die Inferenzzeit und den Speicherverbrauch erheblich reduziert.

Ursprüngliche Autoren: Lasal Jayawardena, Nirmalie Wiratunga, Ikechukwu Nkisi-Orji, Darren Nicol

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Lasal Jayawardena, Nirmalie Wiratunga, Ikechukwu Nkisi-Orji, Darren Nicol

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie arbeiten in einer belebten Fabrik, in der täglich Tausende von Dokumenten (wie Rechnungen, Abfallberichte oder Versandaufträge) eintreffen. Ihre Aufgabe besteht darin, diese Papiere in verschiedene Kategorien zu sortieren, damit das richtige Team sie bearbeiten kann. Ein Dokument kann beispielsweise gleichzeitig sowohl eine „Abfallüberführungsnachricht" als auch ein „Bericht über gefährliche Stoffe" sein.

In der Welt der Computer nennt man dies Multi-Label-Klassifizierung. Der Computer liest das Dokument und weist für jede mögliche Kategorie einen „Vertrauenswert" zu. Das große Problem? Zu entscheiden, welche Werte hoch genug sind, um tatsächlich eine Kennzeichnung vorzunehmen.

Das Problem: Die „Einheitsregel"

Traditionell verwenden Fabriken eine einfache Regel: „Wenn der Computer zu mehr als 50 % sicher ist, dass ein Label zutrifft, weisen Sie es zu."

Der Artikel bezeichnet dies als Globalen Schwellenwert. Es ist wie ein einzelnes Tempolimitschild für eine ganze Autobahn. Es funktioniert auf einer geraden, leeren Straße einigermaßen, versagt jedoch kläglich in einer komplexen Stadt mit Staus, Baustellen und Schulzonen.

Das Problem: In der Realität sind Dokumente unordentlich. Einige sind schlecht gescannt (OCR-Rauschen), einige sind sehr selten, und einige Kategorien sind schwierig. Ein „50 %-sicherer" Wert mag für eine klare Rechnung perfekt sein, aber für eine unscharfe, handschriftliche Notiz katastrophal. Die Verwendung einer festen Regel führt zu übersehenen Dokumenten (False Negatives) oder falschen Zuordnungen (False Positives), was im weiteren Verlauf zu Chaos führt.

Die Lösung: RAPT (Das „intelligente Nachbar"-System)

Die Autoren stellen RAPT (Retrieval-Augmented Post-hoc Thresholding) vor. Betrachten Sie RAPT nicht als neues Gehirn, sondern als intelligenten Assistenten, der neben dem Computer-Klassifikator steht.

So funktioniert RAPT, anhand einer einfachen Analogie:

1. Die Bibliothek vergangener Fälle (Retrieval)
Stellen Sie sich vor, der Computer hat gerade die Labels für ein neues Dokument vorgeschlagen. Anstatt die Vermutung sofort zu akzeptieren, sagt RAPT: „Warten Sie, lassen Sie mich in unserer Bibliothek vergangener Dokumente nachschauen."
Es findet die 10 Dokumente aus der Vergangenheit, die dem neuen am ähnlichsten sehen. Es ist, als würde man einen erfahrenen Kollegen fragen: „Hey, dieses neue Formular sieht ein bisschen aus wie das, das wir letzten Dienstag bearbeitet haben. Wie haben wir damit umgegangen?"

2. Lernen aus Fehlern (Adaptation)
Der Assistent kopiert nicht einfach die alte Antwort. Er betrachtet den „Wert", den der Computer dem alten Dokument gegeben hat, und vergleicht ihn mit der tatsächlichen korrekten Antwort.

Beispiel: „In diesem alten Fall gab der Computer einen Wert von 60 % für 'Gefährliche Abfälle' an, aber es stellte sich heraus, dass dies falsch war. Wir sollten vorsichtiger sein."
RAPT nutzt diese Historie, um die Vertrauenswerte des neuen Dokuments anzupassen. Es sagt im Wesentlichen: „Weil dieses neue Dokument diesem schwierigen alten ähnelt, erhöhen wir die Hürde für die Zuweisung dieses spezifischen Labels."

3. Die dynamische Entscheidung (Thresholding)
Schließlich wählt RAPT eine benutzerdefinierte „Abbruchlinie" für dieses spezifische Dokument basierend auf dem, was für seine Nachbarn funktioniert hat. Es verwendet keine feste 50 %-Regel; es verwendet eine Regel, die zur spezifischen Situation passt.

Warum dies eine große Sache ist

Der Artikel testete RAPT an einem echten industriellen Datensatz (von einem Abfallmanagementunternehmen) und sechs öffentlichen Datensätzen (Nachrichten, Recht, Medizin usw.). Hier ist, was sie herausfanden:

Es funktioniert mit jedem Gehirn: RAPT ist ein „Wrapper". Es ist egal, ob der Hauptcomputer ein einfaches Modell oder eine riesige, komplexe KI ist (wie ein Transformer). RAPT kann auf jedem davon aufsetzen und deren Entscheidungsfindung verbessern, ohne das gesamte System neu trainieren zu müssen.
Die Giganten schlagen: Im industriellen Test half RAPT einem Standard-Computermodell, eine Genauigkeit von 0,87 (Macro-F1) zu erreichen. Dies war deutlich besser als die Verwendung einer festen Regel.
Geschwindigkeit und Kosten: Der Artikel verglich RAPT mit massiven „Large Language Models" (LLMs), wie denen, mit denen Sie online chatten könnten.
- Die LLMs waren langsam und teuer, benötigten etwa 30 Sekunden, um ein Dokument zu verarbeiten, und verwendeten einen enormen Speicherbedarf.
- RAPT + Standardmodelle waren unglaublich schnell, benötigten nur 0,1 Sekunden (etwa 115-mal schneller) und verwendeten 13-mal weniger Speicher.
- Das Ergebnis: RAPT war doppelt so genau wie die „Few-Shot"-LLMs (bei denen Sie der KI einige Beispiele geben), aber zu einem winzigen Bruchteil der Kosten und Zeit.

Das Fazit

RAPT ist wie die Gabe einer intelligenten Checkliste basierend auf ihren vergangenen Erfahrungen an einen Fabrikarbeiter. Anstatt blind einem starren Regelbuch zu folgen, betrachtet das System ähnliche vergangene Aufgaben, lernt aus dem, was funktioniert hat (und was nicht), und trifft eine intelligentere, flexiblere Entscheidung für die aktuelle Aufgabe.

Es löst das Problem „brüchiger" Regeln in einer unordentlichen, sich verändernden Welt und ermöglicht es Unternehmen, Dokumente genau zu sortieren, ohne teure, langsame Supercomputer zu benötigen.

Technische Zusammenfassung: RAPT für Multi-Label-Klassifikation

Problemstellung

In industriellen Pipelines zur Dokumentenverständnis mit mehreren Labels stellt der Übergang von der Modellausgabe (Score-Vektoren) zu einem finalen Satz zugewiesener Labels einen kritischen Engpass dar. Obwohl Klassifikatoren pro-Label-Konfidenzwerte generieren, ist die Bestimmung des optimalen Schwellenwerts (Cutoff) zur Auswahl des finalen Labelsatzes aufgrund mehrerer Faktoren herausfordernd:

Instanzabhängige Kardinalität: Die Anzahl relevanter Labels variiert erheblich zwischen Dokumenten.
Asymmetrische Fehlerkosten: Falsch-positive (fälschlich zugewiesene Labels) und falsch-negative (übersehene Labels) haben unterschiedliche operative Konsequenzen und lösen häufig fehlerhafte nachgelagerte Extraktions- oder Verifizierungsworkflows aus.
Datenheterogenität: Industrielle Umgebungen beinhalten verrauschte OCR, unausgewogene Labelverteilungen und sich entwickelnde Dokumentformate, wodurch globale statische Schwellenwerte brüchig und schwer zu warten werden.
Einsatzbeschränkungen: Bestehende Lösungen erfordern oft das Nachtrainieren von Modellen oder komplexe labelweise Optimierungen, was für Legacy-Systeme oder sich schnell ändernde Dokumentensammlungen unpraktikabel ist.

Methodik: RAPT

Die Autoren schlagen RAPT (Retrieval-Augmented Post-hoc Thresholding) vor, einen modellagnostischen Wrapper, der Case-Based Reasoning (CBR) anwendet, um Schwellenwertentscheidungen zur Inferenzzeit anzupassen, ohne den zugrunde liegenden Klassifikator nachtrainieren zu müssen.

Kernkomponenten

Aufbau der Fallbasis:
- Wird aus vorhandenen Trainings-/Validierungsdaten ohne zusätzliche Annotation erstellt.
- Jeder Fall $C$ besteht aus einer Eingabeinstanz $x$ , einer Modelleinbettung $z$ , dem vom Modell vorhergesagten Score-Vektor $\hat{Y}$ und dem Ground-Truth-Labelvektor $Y$ .
- Schwellenwertbeweise werden automatisch abgeleitet, indem die Diskrepanz zwischen $\hat{Y}$ und $Y$ für jede Trainingsinstanz analysiert wird.
Fallsuche:
- Für ein Abfragedokument sucht das System die $k$ ähnlichsten Fälle aus der Fallbasis mittels Kosinusähnlichkeit im Einbettungsraum ( $z_q$ vs. $z_i$ ).
- Ähnlichkeitswerte dienen als Gewichtungsfaktoren ( $w_i$ ) für den Anpassungsschritt.
Nachbarschaftsanpassung (Score-Verfeinerung):
- Anstelle einer direkten Labelabstimmung passt RAPT den Score-Vektor $\hat{Y}_q$ der Abfrage unter Verwendung von Residualkorrekturen aus gefundenen Nachbarn an.
- Der angepasste Score für einen Nachbarn $i$ $i$ wird berechnet als: $Y_{q,i} = \hat{Y}_i + \Delta_{1,i} + \Delta_{2,i}$ $Y_{q, i} = \hat{Y}_{i} + Δ_{1, i} + Δ_{2, i}$ .
  - $\Delta_{1,i}$ (Modellanpassung): Bringt das Score-Profil des Nachbarn mit der Rohausgabe der Abfrage in Einklang ( $\hat{Y}_q - \hat{Y}_i$ ).
  - $\Delta_{2,i}$ (Residualkorrektur): Überträgt das Fehlermuster des Nachbarn ( $Y_i - \hat{Y}_i$ ).
- Der finale angepasste Score-Vektor $\tilde{Y}_q$ ist ein gewichteter Durchschnitt dieser korrigierten Vektoren, gewichtet nach der Ähnlichkeit.
Dynamische Schwellenwertstrategien:
Die angepassten Scores werden mittels eines abfragespezifischen Schwellenwerts $\tau_q$ in binäre Labels umgewandelt, der durch zwei Nachbarschaftsstrategien bestimmt wird:
- AvgCount ( $Rapt^\#$ ): Schätzt die erwartete Anzahl aktiver Labels ( $k^*$ ) durch Mittelung der Kardinalität der Nachbarn. Der Schwellenwert wird so gesetzt, dass die Top- $k^*$ -Scores ausgewählt werden.
- Rank Calibration ( $Rapt^\geq$ ): Berechnet den Schwellenwert als gewichteten Durchschnitt der minimalen Konfidenzwerte, die in der gefundenen Nachbarschaft positiven Labels zugewiesen wurden. Dies etabliert eine „lokale Grenze" dafür, was in ähnlichen Kontexten ein positives Label ausmacht.

Hauptbeiträge

Rahmenwerk für automatisierten Aufbau der Fallbasis: Eine Methode zum Aufbau einer CBR-Fallbasis aus Standard-Trainingsdaten, bei der Schwellenwertbeweise direkt aus Ground Truth und Modellscores abgeleitet werden, wodurch die Notwendigkeit zusätzlicher menschlicher Annotation entfällt.
Nachbarschaftsgesteuerte dynamische Schwellenwertsetzung: Einführung spezifischer Anpassungsstrategien (AvgCount und Rank Calibration), die Residualfehlerinformationen aus ähnlichen Instanzen nutzen, um Score-Vektoren vor der Schwellenwertsetzung anzupassen.
Umfassende Evaluierung: Validierung an einem industriellen Datensatz (WM Nicol) und sechs öffentlichen Benchmarks (abdeckend Nachrichten, Recht, Medizin und E-Commerce), die konsistente Verbesserungen gegenüber statischen Baselines nachweisen.
Effizienzanalyse: Eine vergleichende Studie, die die Überlegenheit von RAPT gegenüber Few-Shot-LLMs (Large Language Models) hinsichtlich Inferenzgeschwindigkeit und Ressourcenverbrauch zeigt.

Ergebnisse

Leistung auf industriellen und öffentlichen Daten

Industrielle Umgebung (WM Nicol): RAPT erzielte mit Metrik-Lernern (insbesondere ProtoNet) die beste Leistung mit einem Macro-F1 von 0,87. Dies entsprach einem relativen Gewinn von 10,8 % gegenüber einem festen globalen Schwellenwert (0,5) und einem Gewinn von 11,1 % gegenüber einem global optimierten Schwellenwert.
Transformer-Rückgrate: Während voll feinabgestimmte Transformer nur moderate Gewinne zeigten (aufgrund bereits kalibrierter Scores), steigerte RAPT schlecht kalibrierte Modelle signifikant. Beispielsweise verbesserte sich ein vortrainiertes BERT-base-Modell von einem Macro-F1 von 0,096 auf 0,631, wenn es mit RAPT kombiniert wurde.
Öffentliche Benchmarks: Über 175 Modell-Datenkombinationen (7 Datensätze, 4 Metrik-Lerner, 7 Transformer) schnitt RAPT in 130 Fällen (74,3 %) besser ab als die beste statische Baseline (global, optimiert oder labelweise), mit einer durchschnittlichen Macro-F1-Verbesserung von +0,093.

Effizienzvergleich (WM Nicol)

RAPT-Konfigurationen wiesen erhebliche Effizienzvorteile gegenüber Few-Shot-LLM-Baselines (Qwen3-32B) auf:

Inferenzgeschwindigkeit: RAPT war 115-mal schneller (38–236 ms pro Dokument vs. 27–48 Sekunden für LLMs).
Speichernutzung: RAPT benötigte 13,5-mal weniger GPU-Speicher ( $\le$ 2,23 GB vs. >30 GB).
Kosten: RAPT bot deutlich niedrigere hardware-normalisierte Kosten und eignet sich somit für hochdurchsatzfähige industrielle Workflows.

Fehlermodi

Die Autoren identifizierten zwei spezifische Fehlermodi in der industriellen Umgebung:

Koinzidenzgetriebene Falsch-Positive: In Fällen, in denen Labels häufig gemeinsam auftreten (z. B. „Gefahrgutvermerk" und „SEPA-Vermerk"), führten die gefundenen Nachbarn, die beide Labels enthielten, zu aufgeblähten Scores und damit zu fehlerhaften Vorhersagen. Die Rank-Calibration-Strategie ( $Rapt^\geq$ ) milderte dies teilweise durch Anwendung eines konservativeren Schwellenwerts.
Format-Inhalt-Ambiguität: Wenn Dokumentformate (z. B. E-Mail-artige Bestellungen) ähnlicher waren als der semantische Inhalt, verschlechterte sich die Qualität der Fallsuche und verstärkte fehlerhafte Entscheidungen. Dies unterstreicht die Abhängigkeit von der Qualität des zugrunde liegenden Einbettungsraums.

Bedeutung und Behauptungen

Die Arbeit positioniert RAPT als einsatzorientierte Lösung für die „letzte Meile" der Multi-Label-Klassifikation. Ihre primäre Bedeutung liegt in:

Modellagnostizismus: Sie fungiert als Wrapper für jeden Prädiktor, der Einbettungen und Scores bereitstellt (Metrik-Lerner, feinabgestimmte Transformer), ohne architektonische Änderungen oder Nachtraining zu erfordern.
Robustheit gegenüber Evolution: Durch die reliance auf lokale Beweise aus einer Fallbasis passt sie sich verändernden Dokumentformaten und Labelverteilungen an, ohne kontinuierliches Modellaus-Training zu benötigen.
Praktische Machbarkeit: Sie schließt die Lücke zwischen der hohen Genauigkeit komplexer Modelle und den operativen Einschränkungen industrieller Pipelines und bietet einen leichten, post-hoc-Mechanismus zur Verbesserung der Labelauswahl.
Überlegenheit gegenüber LLMs: Im Kontext der Dokumentenklassifikation bietet RAPT eine effizientere und kostengünstigere Alternative zu Few-Shot-LLMs, die trotz ihrer generativen Fähigkeiten unter hoher Latenz und Speicheraufwand leiden.

Die Autoren schließen, dass RAPT besonders für Organisationen mit bestehenden Klassifikatoren wertvoll ist, die einen leichten Mechanismus benötigen, um die Robustheit zu verbessern, während sich ihre Dokumentensammlungen weiterentwickeln.