ScaleDoc: Scaling LLM-based Predicates over Large Document Collections

Het paper introduceert ScaleDoc, een systeem dat de kosten en het tijdsverlies bij het analyseren van grote documentcollecties met LLM's drastisch verlaagt door een offline fase voor semantische representatie te combineren met een online filterfase die een lichtgewicht proxy-model gebruikt om de meeste documenten te verwerpen en alleen twijfelgevallen naar de LLM te sturen.

De kern

Stel je voor dat je een enorme bibliotheek hebt met miljoenen boeken, maar je hebt geen idee welke boeken erover gaan. Je wilt er één vinden die zegt: "Dit boek beschrijft een nieuwe manier om hoofdpijn te genezen."

In het verleden zou je gewoon zoeken op trefwoorden (zoals "hoofdpijn" of "medicijn"). Maar wat als het boek dat je zoekt dat woord niet eens gebruikt, maar wel precies datgene beschrijft? Dan faalt de oude zoekmachine.

Hier komen Grote Taalmodellen (LLMs) om de hoek kijken. Deze slimme AI's kunnen lezen en begrijpen wat er echt staat, net als een mens. Ze zijn fantastisch, maar ze hebben een groot nadeel: ze zijn extreem traag en duur om te gebruiken. Als je elke keer dat je een vraag stelt, de hele bibliotheek door die AI laat scannen, kost het je een fortuin en duurt het eeuwen.

ScaleDoc is de oplossing die de auteurs van dit paper hebben bedacht. Het is als het bouwen van een slimme, tweestaps-filter voor je bibliotheek.

Hier is hoe het werkt, vertaald naar alledaagse analogieën:

1. De Offline-fase: Het maken van een "Smaakkaart"

Stel je voor dat je eerst een keer (eenmalig) alle boeken in de bibliotheek laat lezen door een slimme expert (de AI). Deze expert schrijft voor elk boek een korte, krachtige samenvatting op een kaartje. Dit kost tijd en geld, maar je doet het maar één keer.

• Het resultaat: Je hebt nu voor elke duizenden boeken een "smaakkaartje" (een digitale weergave van de inhoud). Je hoeft de dure expert niet meer te bellen om de boeken te lezen; je hebt de samenvattingen al.

2. De Online-fase: De slimme conciërge

Nu komt een bezoeker (jij) en vraagt: "Ik wil een boek over nieuwe hoofdpijn-medicijnen."
In plaats van de dure expert weer te bellen, roep je een slimme conciërge (een klein, snel en goedkoop computerprogramma) op.

• Stap A: De conciërge kijkt naar je vraag. Hij leest je vraag en vergelijkt die met de duizenden "smaakkaartjes" die je al hebt.
• Stap B: Het filteren. De conciërge is heel snel. Hij zegt: "Oké, deze 90% van de boeken gaat zeker niet over hoofdpijn. Die gooi ik eruit." En: "Deze 5% gaat er zeker wel over. Die pak ik eruit."
• Stap C: De twijfelgevallen. Er blijft een klein groepje over (bijvoorbeeld 5%) waar de conciërge niet zeker van is. "Misschien gaat dit boek erover, misschien niet."
• Stap D: De dure expert. Alleen voor die kleine groep twijfelgevallen belt de conciërge de dure, super-slimme expert (de AI) op. Die expert leest alleen die paar boeken en geeft het definitieve antwoord.

Waarom is dit zo slim? (De twee geheimen)

De schrijvers zeggen dat dit niet zomaar een simpele filter is. Ze hebben twee trucjes gebruikt om het te laten werken:

1. De "Spiegel-truc" (Contrastief Leren)
Een gewone conciërge is vaak onzeker. Hij zegt soms: "Ik weet het niet" voor alles, waardoor je toch de dure expert moet bellen.
ScaleDoc leert de conciërge een speciale manier van denken. Het is alsof je de conciërge traint met een spiegel:

• Hij ziet een boek dat wel past en een boek dat niet past.
• Hij leert ze zo ver uit elkaar te duwen in zijn hoofd, dat de "wel"-boeken heel hoog scoren en de "niet"-boeken heel laag.
• Hierdoor wordt de conciërge heel zelfverzekerd. Hij weet precies wat hij moet doen, en hij hoeft de dure expert veel minder vaak te bellen.

2. De "Slimme Driehoek" (Adaptieve Cascade)
Soms is een vraag makkelijk, soms moeilijk. De truc is om te weten hoeveel boeken je mag filteren zonder dat je fouten maakt.
ScaleDoc gebruikt een slimme rekenmethode. Het pakt een heel klein steekproefje van de boeken, laat de dure expert die controleren, en zegt dan: "Oké, op basis van dit steekproefje weten we dat we veilig 90% van de boeken kunnen negeren." Het past dit elke keer aan, afhankelijk van hoe moeilijk de vraag is.

Het resultaat in het kort

• Snelheid: Het is meer dan 2 keer sneller dan alles door de dure AI te laten doen.
• Kosten: Je hoeft de dure AI tot 85% minder vaak te gebruiken. Dat is als het besparen van 85% van je brandstofkosten voor een lange reis.
• Betrouwbaarheid: Je verliest geen goede boeken; het systeem garandeert dat je antwoord net zo goed is als wanneer je alles door de dure expert had laten controleren.

Kortom: ScaleDoc is een slimme tussenpersoon die de dure, trage AI alleen laat werken voor de moeilijke vragen, terwijl hij zelf de simpele en duidelijke taken afhandelt. Hierdoor wordt het mogelijk om miljoenen documenten te doorzoeken zonder je bankrekening leeg te halen.

Technische samenvatting

Probleemstelling

Traditionele data-analysesystemen (zoals databases en zoekmachines) zijn uitstekend in het verwerken van waarde-gebaseerde predikaten (bijv. CITY = 'Amsterdam'). Echter, moderne werklasten vereisen steeds vaker semantische zoekopdrachten over enorme collecties ongestructureerde documenten (bijv. "vind alle medische papers die een nieuw medicijn ontwikkelen").

Hoewel Large Language Models (LLMs) krachtige zero-shot capaciteiten hebben om dergelijke semantische vragen te beantwoorden, is het uitvoeren van inferentie op miljoenen documenten per query onacceptabel duur en traag. Bestaande oplossingen hebben twee grote tekortkomingen:

1. Klassieke ML-modellen: Vereisen veel engineering en gelabelde data per nieuwe taak en missen de flexibiliteit van LLMs.
2. LLM-gebaseerde cascades: Gebruiken vaak kleinere LLMs als proxy, maar deze blijven te rekenintensief voor schaalbare toepassingen. Bovendien worden volledige documenten bij elke query opnieuw verwerkt, wat leidt tot redundante kosten.

De kernuitdaging is om een systeem te bouwen dat de hoge nauwkeurigheid van LLMs behoudt, maar de kosten en latentie drastisch verlaagt door slimme filtering, zelfs bij willekeurige (ad hoc) queries.

Methodologie: Het ScaleDoc Systeem

ScaleDoc lost dit probleem op door de uitvoering te ontkoppelen in twee fasen: een offline representatiefase en een geoptimaliseerde online fase.

1. Offline Fase: Semantische Representatie

In plaats van documenten bij elke query opnieuw te verwerken, gebruikt ScaleDoc een eenmalige offline fase:

• Een klein LLM (bijv. 7B parameters) genereert semantische embeddings voor elk document in de collectie.
• Deze embeddings worden opgeslagen en hergebruikt voor alle toekomstige queries. Dit verlegt de zware rekenlast naar een eenmalige kostenpost.

2. Online Fase: Query-Aware Proxy en Cascade

Wanneer een nieuwe query arriveert, doorloopt het systeem een geoptimaliseerde online workflow:

• Query-Aware Lightweigt Proxy: Voor elke specifieke query wordt een lichtgewicht model (een 3-laags MLP) getraind op de vooraf berekende embeddings. Dit model leert de specifieke semantische nuances van de query en genereert een "beslissingscore" (waarschijnlijkheid dat een document voldoet aan de predikaat).
• Contrastive Learning Framework: Om te voorkomen dat het proxy-model onbetrouwbare of dubbelzinnige scores genereert, wordt een speciaal trainingsframework gebruikt met drie doelen:
  1. Semantische Monotonie: Hogere scores moeten corresponderen met een betere semantische match.
  2. Bipolariteit: De scores voor positieve en negatieve documenten moeten sterk gescheiden zijn (clustering aan de uiteinden van het spectrum).
  3. Smoothness: De verdeling moet continu zijn voor stabiele drempelkeuzes.
     Dit wordt bereikt door een combinatie van drie verliesfuncties: L_qsim (query-document similariteit), L_supcon (supervised contrastive learning voor intra-klassen clustering) en L_polar (een nieuwe methode om de marge tussen klassen te vergroten via "bellwether" samples).
• Adaptive Cascade Mechanisme: Het systeem gebruikt de scores om documenten te filteren:
  • Hoge zekerheid: Documenten met zeer hoge of zeer lage scores worden direct gelabeld door de proxy.
  • Onzekerheid: Alleen de "ambigue" documenten (midden in het scorebereik) worden doorgestuurd naar de dure Oracle LLM (bijv. GPT-4o) voor de definitieve beslissing.
• Calibratie en Drempelkeuze: Omdat de verdeling van labels onbekend is voor een nieuwe query, gebruikt ScaleDoc een stratified sampling methode op een klein subset (bijv. 5%) van de data. Deze subset wordt gelabeld door de Oracle. Vervolgens wordt een continue kansdichtheidsfunctie (PDF) gereconstrueerd (met jittering en lineaire interpolatie) om de optimale drempels (l en r) te berekenen die voldoen aan de door de gebruiker opgegeven nauwkeurigheidsdoelstelling (alpha) met minimale Oracle-aanroepen.

Belangrijkste Bijdragen

1. ScaleDoc Architectuur: Een nieuw systeem dat LLM-executie splitst in een eenmalige offline representatie en een dynamische online filterfase, waardoor herhaalde documentverwerking wordt voorkomen.
2. Contrastive Learning voor Proxy's: Een trainingsstrategie die een lichtgewicht model leert om betrouwbare, sterk gescheiden beslissingscores te genereren, specifiek afgestemd op de query.
3. Adaptive Cascade Workflow: Een mechanisme dat online kalibratie en geoptimaliseerde drempelkeuze combineert om de gewenste nauwkeurigheid te garanderen terwijl het aantal dure LLM-aanroepen wordt geminimaliseerd.

Resultaten

ScaleDoc is geëvalueerd op drie datasets (PubMed, BigPatent, GovReport) met 10.000 documenten per set en diverse semantische queries. De resultaten tonen aan:

• Snelheid: Een end-to-end snelheidswinst van meer dan 2x in vergelijking met bestaande baselines.
• Kostenreductie: Tot 85% reductie in dure LLM-aanroepen (Oracle invocations), wat overeenkomt met een kostenbesparing van ongeveer 6,6x.
• Nauwkeurigheid: Het systeem behoudt consistent de door de gebruiker opgegeven nauwkeurigheidsdoelstelling (bijv. F1-score van 0.90), zelfs bij onbalans in de data of complexe queries.
• Efficiëntie: ScaleDoc heeft de laagste totale rekenkosten (FLOPs) vergeleken met methoden die alleen de Oracle gebruiken, methoden met traditionele ML-proxies, of methoden die kleinere LLMs als proxy gebruiken.

Betekenis en Impact

ScaleDoc maakt semantische analyse op grote schaal praktisch en haalbaar. Het overbrugt de kloof tussen de hoge kosten van LLM-inferentie en de behoefte aan snelle, schaalbare data-analyse. Door de zware berekeningen te verplaatsen naar een offline fase en slimme, query-specifieke proxies te gebruiken, biedt het een oplossing die zowel kostenefficiënt als robuust is. Dit is een belangrijke stap voorwaarts voor het integreren van LLMs in traditionele data-analysesystemen, waarbij de focus ligt op schaalbaarheid zonder in te leveren op de kwaliteit van de resultaten.