Technische Samenvatting: RAPT voor Meervoudige Labelclassificatie

Probleemstelling

In industriële pijplijnen voor documentbegrip met meerdere labels is de overgang van modeloutput (scorevectoren) naar een definitieve set toegewezen labels een kritieke knelpunt. Hoewel classifiers per-label betrouwbaarheidsscores genereren, is het bepalen van de optimale afkapwaarde (drempel) om de uiteindelijke labelset te selecteren uitdagend vanwege diverse factoren:

• Instance-afhankelijke kardinaliteit: Het aantal relevante labels varieert aanzienlijk tussen documenten.
• Asymmetrische foutkosten: Valse positieven (onnodige labels) en valse negatieven (gemiste labels) hebben verschillende operationele gevolgen, die vaak leiden tot incorrecte downstream-extractie- of verificatiewerkstromen.
• Data-heterogeniteit: Industriële omgevingen omvatten ruisvolle OCR, onbalans in labelverdelingen en evoluerende documentformaten, waardoor globale statische drempels breekbaar en moeilijk te onderhouden zijn.
• Implementatiebeperkingen: Bestaande oplossingen vereisen vaak het opnieuw trainen van modellen of complexe optimalisatie per label, wat onpraktisch is voor legacy-systemen of snel veranderende documentcollecties.

Methodologie: RAPT

De auteurs stellen RAPT (Retrieval-Augmented Post-hoc Thresholding) voor, een model-agnostische wrapper die Case-Based Reasoning (CBR) toepast om drempelbeslissingen aan te passen tijdens de inferentie zonder het onderliggende classifier opnieuw te trainen.

Kerncomponenten

1. Constructie van de Case Base:

   • Opgebouwd uit bestaande trainings-/validatiegegevens zonder extra annotatie.
   • Elke case $C$ bestaat uit een input-instance $x$, een model-embedding $z$, de voorspelde scorevector van het model $\hat{Y}$ en de ground truth labelvector $Y$.
   • Drempelbewijs wordt automatisch afgeleid door de discrepantie tussen $\hat{Y}$ en $Y$ voor elke trainingsinstance te analyseren.

2. Case Retrieval:

   • Voor een query-document haalt het systeem de $k$ meest vergelijkbare cases op uit de case base met behulp van cosinus-相似heid in de embedding-ruimte ($z_q$ vs. $z_i$).
   • Similariteitscores dienen als belangsgewichten ($w_i$) voor de aanpassingsstap.

3. Aanpassing van de Buur (Scoreverfijning):

   • In plaats van directe labelstemming past RAPT de scorevector $\hat{Y}_q$ van de query aan met behulp van residu-correcties van opgehaalde buren.
   • De aangepaste score voor een buur $i$ wordt berekend als: $Y_{q,i} = \hat{Y}_i + \Delta_{1,i} + \Delta_{2,i}$.
     • $\Delta_{1,i}$ (Modelaanpassing): Aligneert het scoreprofiel van de buur met de ruwe output van de query ($\hat{Y}_q - \hat{Y}_i$).
     • $\Delta_{2,i}$ (Residu-correctie): Transfereert het foutpatroon van de buur ($Y_i - \hat{Y}_i$).
   • De uiteindelijke aangepaste scorevector $\tilde{Y}_q$ is een op similariteit gewogen gemiddelde van deze gecorrigeerde vectoren.

4. Dynamische Drempelstrategieën:
   De aangepaste scores worden omgezet in binaire labels met behulp van een query-specifieke drempel $\tau_q$ bepaald door twee buurstrategieën:

   • AvgCount ($Rapt^\#$): Schat het verwachte aantal actieve labels ($k^*$) door de kardinaliteit van buren te middelen. De drempel wordt ingesteld om de top $k^*$ scores te selecteren.
   • Rank Calibration ($Rapt^\geq$): Berekent de drempel als het gewogen gemiddelde van de minimale betrouwbaarheidsscores die aan positieve labels in de opgehaalde buur zijn toegewezen. Dit vestigt een "lokale grens" voor wat een positief label vormt in vergelijkbare contexten.

Belangrijkste Bijdragen

1. Framework voor Geautomatiseerde Constructie van Case Bases: Een methode om een CBR-case base te bouwen uit standaard trainingsdata, waarbij drempelbewijs direct wordt afgeleid uit ground truth en modelscores, waardoor de behoefte aan extra menselijke annotatie wordt geëlimineerd.
2. Buurgedreven Dynamische Drempelstelling: Introductie van specifieke aanpassingsstrategieën (AvgCount en Rank Calibration) die residu-foutinformatie van vergelijkbare instances gebruiken om scorevectoren aan te passen voordat de drempel wordt toegepast.
3. Uitgebreide Evaluatie: Validatie op een industriële dataset (WM Nicol) en zes publieke benchmarks (dekkend nieuws, juridisch, medisch en e-commerce domeinen), waarbij consistente verbeteringen worden aangetoond ten opzichte van statische baselines.
4. Efficiëntie-analyse: Een vergelijkende studie die de superioriteit van RAPT ten opzichte van Few-Shot Large Language Models (LLMs) aantoont in termen van inferentiesnelheid en resourceverbruik.

Resultaten

Prestaties op Industriële en Publieke Data

• Industriële Setting (WM Nicol): RAPT behaalde zijn beste prestaties met metric learners (specifiek ProtoNet), met een Macro-F1 van 0,87. Dit vertegenwoordigde een relatieve winst van 10,8% ten opzichte van een vaste globale drempel (0,5) en een winst van 11,1% ten opzichte van een globaal geoptimaliseerde drempel.
• Transformer Backbones: Hoewel volledig fine-tuned transformers bescheiden winsten toonden (vanwege al gekalibreerde scores), boostte RAPT slecht gekalibreerde modellen aanzienlijk. Bijvoorbeeld, een vooraf getraind BERT-base model verbeterde van een Macro-F1 van 0,096 naar 0,631 wanneer gecombineerd met RAPT.
• Publieke Benchmarks: Over 175 model-datasetcombinaties (7 datasets, 4 metric learners, 7 transformers) presteerde RAPT beter dan de beste statische baseline (globaal, geoptimaliseerd of per label) in 130 gevallen (74,3%), met een gemiddelde Macro-F1-verbetering van +0,093.

Efficiëntievergelijking (WM Nicol)

RAPT-configuraties toonden aanzienlijke efficiëntievoordelen ten opzichte van Few-Shot LLM-baselines (Qwen3-32B):

• Inferentiesnelheid: RAPT was 115× sneller (38–236 ms per document versus 27–48 seconden voor LLM's).
• Geheugengebruik: RAPT vereiste 13,5× minder GPU-geheugen ($\le$ 2,23 GB versus >30 GB).
• Kosten: RAPT bood aanzienlijk lagere hardware-genormaliseerde kosten, waardoor het geschikt is voor high-throughput industriële werkstromen.

Falingsmodi

De auteurs identificeerden twee specifieke falingsmodi in de industriële setting:

1. Co-occurrence-gedreven Valse Positieven: In gevallen waarin labels vaak samen voorkomen (bijvoorbeeld "Hazardous Waste Note" en "SEPA Note"), verhoogde de ophaaling van buren die beide labels bevatten de scores, wat leidde tot onnodige voorspellingen. De Rank Calibration-strategie ($Rapt^\geq$) mitigeerde dit gedeeltelijk door een meer conservatieve drempel toe te passen.
2. Format-Content Ambiguïteit: Wanneer documentformaten (bijvoorbeeld e-mailachtige inkooporders) meer op elkaar leken dan de semantische inhoud, degradeerde de kwaliteit van de retrieval, waardoor incorrecte beslissingen werden versterkt. Dit benadrukt de afhankelijkheid van de kwaliteit van de embedding-ruimte van de backbone.

Betekenis en Claims

Het artikel positioneert RAPT als een implementatiegerichte oplossing voor de "laatste mijl" van meervoudige labelclassificatie. De primaire betekenis ligt in:

• Model-agnosticisme: Het fungeert als een wrapper voor elke predictor die embeddings en scores levert (metric learners, fine-tuned transformers), zonder behoefte aan architecturale wijzigingen of opnieuw trainen.
• Robuustheid tegen Evolutie: Door te vertrouwen op lokale bewijslast uit een case base, past het zich aan aan veranderende documentformaten en labelverdelingen zonder de noodzaak van continue modelhertraining.
• Praktische Haalbaarheid: Het overbrugt de kloof tussen de hoge nauwkeurigheid van complexe modellen en de operationele beperkingen van industriële pijplijnen, en biedt een lichtgewicht, post-hoc mechanisme om de selectie van labelsets te verbeteren.
• Superioriteit ten opzichte van LLM's: In de context van documentclassificatie biedt RAPT een efficiënter en kosteneffectiever alternatief voor Few-Shot LLM's, die lijden onder hoge latentie en geheugenoverhead ondanks hun generatieve capaciteiten.

De auteurs concluderen dat RAPT bijzonder waardevol is voor organisaties met bestaande classifiers die een lichtgewicht mechanisme nodig hebben om de robuustheid te verbeteren naarmate hun documentcollecties evolueren.