ScaleDoc: Scaling LLM-based Predicates over Large Document Collections

Das Paper stellt ScaleDoc vor, ein System, das die effiziente semantische Analyse großer Dokumentenbestände durch eine Entkopplung in eine Offline-Repräsentationsphase und eine Online-Filterung mittels eines leichten Proxy-Modells ermöglicht, wodurch die Anzahl teurer LLM-Aufrufe um bis zu 85 % reduziert und die End-zu-End-Geschwindigkeit verdoppelt wird.

Das Wesentliche

ScaleDoc: Wie man riesige Dokumentenberge mit KI schnell und günstig durchsucht

Stellen Sie sich vor, Sie sind ein Bibliothekar in einer riesigen Bibliothek, die so groß ist, dass sie den gesamten Planeten bedeckt. In dieser Bibliothek liegen Millionen von Büchern, Artikeln und Berichten. Plötzlich kommt ein Besucher und fragt: „Zeig mir alle Texte, die über die Erfindung eines neuen Medikaments gegen Kopfschmerzen sprechen."

Das Problem: Die Bücher sind nicht nach Schlagworten sortiert. Um die richtige Antwort zu finden, müssten Sie jedes einzelne Buch öffnen, lesen und verstehen, worum es geht. Wenn Sie dafür einen extrem intelligenten, aber sehr teuren und langsamen Experten (eine sogenannte „Große Sprach-KI" oder LLM) einsetzen, der jedes Buch liest, würden Sie entweder bankrottgehen oder ewig warten.

Genau hier kommt ScaleDoc ins Spiel. Es ist wie ein genialer Assistent, der diese Aufgabe löst, ohne dass Sie jedes Buch komplett durch den teuren Experten lesen lassen müssen.

Hier ist die einfache Erklärung, wie ScaleDoc funktioniert, mit ein paar kreativen Vergleichen:

1. Das Problem: Der teure Experte

Normalerweise würde man den teuren Experten (die KI) bitten, jedes der 10.000 Bücher zu prüfen. Das ist wie wenn Sie einen Nobel-Sterne-Koch (den Experten) bitten, jeden einzelnen Apfel in einem ganzen Obstmarkt zu probieren, um herauszufinden, welche reif sind. Das kostet zu viel Zeit und Geld.

2. Die Lösung: Zwei Phasen (Offline & Online)

ScaleDoc teilt die Arbeit in zwei clever getrennte Phasen auf:

Phase 1: Der Vorbereitungs-Check (Offline)
Bevor überhaupt jemand eine Frage stellt, macht ScaleDoc einmalig eine schwere Vorarbeit.

• Die Analogie: Stellen Sie sich vor, ein schneller, aber weniger erfahrener Assistent geht durch die Bibliothek und schreibt für jedes Buch eine kurze, präzise Zusammenfassung auf einen Zettel. Diese Zettel enthalten die „Seele" des Textes (semantische Bedeutung), aber nicht den ganzen Text.
• Der Vorteil: Diese Zettel werden einmal erstellt und dann für immer gespeichert. Das ist wie das Anlegen eines perfekten Katalogs.

Phase 2: Die schnelle Suche (Online)
Jetzt kommt der Besucher mit seiner Frage.

• Der Trick: Statt den teuren Nobel-Koch zu rufen, nimmt ScaleDoc eine kleine, schnelle und günstige KI (den „Proxy"). Diese KI vergleicht die Frage des Besuchers mit den vorbereiteten Zetteln (den Zusammenfassungen).
• Die Filterung:
  • Wenn die KI zu 99 % sicher ist, dass ein Buch nicht passt, wird es aussortiert (wie ein grüner Stempel: „Nicht relevant").
  • Wenn sie zu 99 % sicher ist, dass es passt, wird es sofort als Treffer markiert (roter Stempel: „Relevant").
  • Nur bei den Büchern, bei denen die schnelle KI unsicher ist („Hmm, könnte passen, könnte auch nicht"), wird endlich der teure Nobel-Koch (die große KI) gerufen, um eine letzte Entscheidung zu treffen.

3. Die zwei genialen Innovationen

Damit dieser Plan funktioniert, braucht ScaleDoc zwei besondere Fähigkeiten:

A. Der „Spürhund" für Unsicherheit (Contrastive Learning)
Eine normale schnelle KI ist oft verwirrt und sagt bei fast allem „Ich bin mir nicht sicher". Das wäre schlecht, denn dann müssten wir trotzdem den teuren Experten für alles rufen.

• ScaleDocs Lösung: Sie trainiert die schnelle KI mit einer speziellen Methode (einem „Kontrast-Lern-Verfahren"). Man lehrt sie, wie ein guter Spürhund: Sie lernt, die „Duftspuren" der positiven und negativen Bücher so klar zu trennen, dass sie am Ende entweder „Sicher Ja!" oder „Sicher Nein!" schreit. Nur bei wirklich kniffligen Fällen zögert sie. Das sorgt dafür, dass der teure Experte nur selten angerufen wird.

B. Der adaptive Schiedsrichter (Adaptive Cascade)
Wie weiß man, wann man den Experten rufen soll? Bei jeder neuen Frage ist die Situation anders.

• ScaleDocs Lösung: Das System führt einen kleinen, schnellen Test durch (eine Art „Probestichprobe"). Es schaut sich ein paar zufällige Bücher an, lässt den Experten diese bewerten und berechnet daraus eine perfekte „Grenze".
• Die Analogie: Es ist wie ein Richter, der vor jedem Spiel den Boden prüft und entscheidet: „Wenn der Ball unter Linie X ist, ist er im Aus. Wenn er über Linie Y ist, ist er drin. Nur bei Linie X bis Y müssen wir den Videobeweis (den Experten) anschauen." Dieser Richter passt die Linien dynamisch an jede neue Frage an, um immer genau so viel Zeit zu sparen, wie möglich, ohne Fehler zu machen.

Das Ergebnis

Durch diese Kombination aus vorbereiteten Zetteln, einem trainierten „Spürhund" und einem cleveren Schiedsrichter erreicht ScaleDoc zwei Wunder:

1. Geschwindigkeit: Die Suche ist über 2-mal schneller als ohne dieses System.
2. Kosten: Man spart bis zu 85 % der teuren KI-Anrufe.

Zusammenfassend:
ScaleDoc ist wie ein intelligenter Türsteher für eine riesige Bibliothek. Er lässt die offensichtlichen Fälle sofort durch oder abweisen und schickt nur die wirklich schwierigen Fälle zum Chef. So bleibt der Chef (die teure KI) entspannt, die Arbeit geht schnell, und die Ergebnisse sind trotzdem perfekt.

Technische Zusammenfassung

1. Problemstellung

Moderne Datenanalysesysteme stehen zunehmend vor der Herausforderung, riesige Sammlungen unstrukturierter Dokumente (z. B. wissenschaftliche Artikel, Patente, Regierungsberichte) basierend auf semantischen Bedeutungen zu durchsuchen. Traditionelle Wert-basierte Prädikate (z. B. CITY = 'New York') reichen hierfür nicht aus.

• Herausforderung: Große Sprachmodelle (LLMs) bieten zwar beeindruckende Zero-Shot-Fähigkeiten für semantische Abfragen, sind jedoch für die Verarbeitung von Millionen von Dokumenten pro Anfrage aufgrund ihrer hohen Inferenzkosten und Latenzzeiten unpraktisch.
• Ineffizienz bestehender Ansätze:
  • Herkömmliche Machine-Learning-Modelle erfordern für jede neue Aufgabe aufwendiges Engineering und Labeling.
  • Ansätze, die kleinere LLMs als Filter verwenden (z. B. FrugalGPT, LOTUS), sind immer noch zu rechenintensiv für massive Dokumentensammlungen.
  • Ein zentrales Problem ist die wiederholte Verarbeitung ganzer Dokumente für jede Ad-hoc-Abfrage, was zu redundanter Rechenlast führt.

2. Methodik: ScaleDoc

ScaleDoc ist ein System, das die Ausführung von LLM-basierten Prädikaten in zwei Phasen entkoppelt: eine Offline-Representationsphase und eine optimierte Online-Phase.

A. Architektur

1. Offline-Phase (Einmalig):
   • Ein kleines LLM (z. B. 7B Parameter) generiert für jedes Dokument in der Sammlung eine semantische Embedding-Repräsentation.
   • Diese Embeddings werden gespeichert und können für unzählige zukünftige Ad-hoc-Abfragen wiederverwendet werden. Dies verlagert die teure Berechnung in eine einmalige Vorverarbeitung.
2. Online-Phase (Pro Abfrage):
   • Bei einer neuen Abfrage wird ein leichtgewichtiges, abfrage-spezifisches Proxy-Modell trainiert.
   • Dieses Modell nutzt die vorberechneten Embeddings, um jedem Dokument einen Entscheidungsscore (Wahrscheinlichkeit für ein positives Ergebnis) zuzuweisen.
   • Ein Kaskaden-Mechanismus filtert Dokumente basierend auf diesen Scores:
     • Hohe Konfidenz: Dokumente mit klaren Scores werden direkt vom Proxy klassifiziert.
     • Unklare Fälle (Ambiguous): Nur Dokumente mit unsicheren Scores werden an das teure „Oracle-LLM" (z. B. GPT-4o) zur endgültigen Entscheidung weitergeleitet.

B. Kerninnovationen

Um die Effizienz zu maximieren und die Genauigkeitsziele zu erreichen, löst ScaleDoc zwei kritische Herausforderungen:

1. Query-Aware Contrastive Learning (Training des Proxy-Modells):

   • Problem: Naive Modelle liefern oft unzuverlässige Scores, die positive und negative Fälle nicht klar trennen (fehlende Bipolarität), was zu vielen unnötigen Oracle-Aufrufen führt.
   • Lösung: ScaleDoc verwendet einen zweistufigen Trainingsansatz mit einem Contrastive-Learning-Framework:
     • Phase 1 (Semantische Monotonie): Ein kontrastiver Loss (L_qsim) bringt positive Dokumente näher an die Query-Embedding und negative weiter weg.
     • Phase 2 (Erzwingung von Bipolarität): Zwei zusätzliche Loss-Funktionen (L_supcon für intra-Klassen-Clustering und L_polar für die Vergrößerung des Abstands zwischen den Klassen) sorgen dafür, dass die Score-Verteilung stark polarisiert ist (positive Scores am oberen Ende, negative am unteren). Dies ermöglicht eine effektive Filterung.

2. Adaptive Kaskaden-Kalibrierung (Schwellenwertbestimmung):

   • Problem: Bei Ad-hoc-Abfragen sind die Datenverteilung und die Ground-Truth-Labels unbekannt. Es ist schwierig, Schwellenwerte zu setzen, die ein Benutzer-Accuracy-Ziel (z. B. 90%) einhalten, ohne zu viele Oracle-Aufrufe zu tätigen.
   • Lösung: Ein adaptiver Workflow, der auf einer kleinen Stichprobe (z. B. 5% der Daten) basiert:
     • Stratifizierte Stichprobenziehung: Sicherstellt, dass auch Bereiche mit geringer Dichte in der Score-Verteilung erfasst werden.
     • Verteilungsrekonstruktion: Durch Jittering, lineare Interpolation (Dichteschätzung) und Glättung (Moving Average) wird eine kontinuierliche Wahrscheinlichkeitsdichtefunktion (PDF) für positive und negative Klassen rekonstruiert.
     • Optimierung: Ein Algorithmus sucht effizient die optimalen Schwellenwerte (Untergrenze $l$, Obergrenze $r$) auf der Pareto-Frontier, um die Oracle-Aufrufe zu minimieren, während das Genauigkeitsziel garantiert wird.

3. Wichtige Beiträge

• ScaleDoc-System: Ein neuartiges System zur Skalierung von LLM-Prädikaten durch Entkopplung von Offline-Representation und Online-Filterung.
• Contrastive-Learning-Strategie: Eine Methode zum Training eines leichten Proxy-Modells, das zuverlässige, abfrage-spezifische Entscheidungsscores mit einer stark polarisierten Verteilung liefert.
• Adaptive Kaskade: Ein Kalibrierungsmechanismus mit optimiertem Filteralgorithmus, der Benutzer-spezifische Genauigkeitsziele garantiert und gleichzeitig die Kosten für das Oracle-LLM minimiert.

4. Ergebnisse

Die Evaluation erfolgte auf drei Datensätzen (BigPatent, PubMed, GovReport) mit 10.000 Dokumenten und 20 verschiedenen semantischen Abfragen pro Datensatz.

• Geschwindigkeit: ScaleDoc erreicht eine End-to-End-Beschleunigung von über 2x im Vergleich zu Baselines.
• Kosteneinsparung: Die Anzahl der teuren Oracle-LLM-Aufrufe wird um bis zu 85% reduziert (entspricht einer Kostenersparnis von ca. 6,6x).
• Genauigkeit: Das System hält die vom Benutzer definierten Genauigkeitsziele (z. B. F1-Score von 0,90) robust ein, selbst bei stark unausgewogenen Daten (Skewness) und komplexen Abfragen (implizites Reasoning, quantitative Analysen).
• Vergleich: ScaleDoc übertrifft bestehende Ansätze wie Probabilistic Predicates (PPs), FrugalGPT, LOTUS und BARGAIN signifikant in Bezug auf Latenz und Datenreduktionsrate.

5. Bedeutung und Fazit

ScaleDoc adressiert eine fundamentale Lücke in der Anwendung von LLMs in großen Datenanalysesystemen. Es zeigt, dass semantische Analysen in großem Maßstab nicht nur möglich, sondern auch kosteneffizient durchführbar sind.

• Paradigmenwechsel: Statt jedes Dokument bei jeder Abfrage neu zu verarbeiten, werden semantische Repräsentationen einmalig erstellt und dynamisch durch leichte Modelle adaptiert.
• Praktische Anwendbarkeit: Durch die drastische Reduktion der LLM-Kosten wird die Nutzung von LLMs für Echtzeit-Analysen großer Dokumentensammlungen in Unternehmen und der Forschung erst wirtschaftlich machbar.
• Robustheit: Das System ist flexibel gegenüber verschiedenen Abfragetypen und Datenverteilungen, was es zu einer allgemeinen Lösung für semantische Prädikate macht.

Zusammenfassend demonstriert ScaleDoc, wie durch geschicktes Systemdesign (Offline/Online-Trennung, Contrastive Learning, adaptive Kaskaden) die inhärenten Nachteile von LLMs (Kosten, Latenz) für skalierbare Datenanalysen überwunden werden können.