Technische Samenvatting: Grounded Optimization voor het Verminderen van LLM-hallucinaties bij Geautomatiseerde Herziening van Persoonlijke Documenten

1. Probleemstelling

De toepassing van Large Language Models (LLM's) voor de optimalisatie van cv's voor Applicant Tracking Systems (ATS) introduceert specifieke hallucinatie-risico's die verschillen van algemene tekstgeneratie. In tegenstelling tot chatbots, waarbij gebruikers de outputs interactief kunnen verifiëren, werkt de optimalisatie van cv's vaak in batchmodus met minimale menselijke controle. De auteurs identificeren vier onderscheidende faalmodi die concrete gevolgen hebben, zoals diskwalificatie of ontslag van kandidaten:

1. Temporele Fabricatie (H1): Het injecteren van technologieën die niet bestonden tijdens de geclaimde dienstperiode van de kandidaat (bijv. het noemen van LangChain in een rol uit 2018).
2. Cross-Domain Contaminatie (H2): De introductie van terminologie uit technologie-ecosystemen die niet aanwezig waren in de oorspronkelijke rol (bijv. het toevoegen van Azure-services aan een AWS-only rol) om aan te sluiten bij de trefwoorden van de vacaturetekst.
3. Structurele Mutatie (H3): Het stilletjes samenvoegen, verwijderen of condenseren van opsommingstekens (bullet points), wat echte prestaties verwijdert onder het mom van "optimalisatie".
4. Inhoudelijke Fabricatie (H4): Het verzinnen van bedrijfsnamen, het opblazen van statistieken of het toevoegen van onverdiende certificeringen.

De grondwaarheid in dit domein is de eigen carrièregeschiedenis van de kandidaat, die de LLM moet verbeteren zonder deze te vervormen.

2. Methodologie: Het Grounded Optimization Framework

De auteurs stellen Grounded Optimization voor, een vijflaags defense-in-depth framework geïmplementeerd als een multi-agent systeem op LangGraph. Het systeem verwerkt cv's via gespecialiseerde agents (Summary, Skills, Experience, Projects, Education), waarbij de Experience Agent de volledige defensieve stack ontvangt. De lagen werken in een specifieke sequentie: Laag 4 (Prompt Injection) → LLM Call → Lagen 1–3 (Output Validatie) → Laag 5 (Evaluator Gate).

Laag 1: Temporele Context Validatie

Deze laag voorkomt anachronistische technologie-injectie door een per-cv tijdlijn op te bouwen. Het embedt een gecureerde mapping van de releasedatums van technologieën (bijv. LangChain → 2022) in de prompts van de agent. De LLM krijgt de instructie om te verifiëren dat elke genoemde technologie tijdens de periode van de betreffende rol bestond.

Laag 2: Detectie van Cross-Domain Contaminatie

Om cross-domain bleeding aan te pakken, maken de auteurs gebruik van een volledig deterministisch, LLM-vrij mechanisme. Ze hebben een taxonomie opgesteld van 257 cloud-services verspreid over AWS, GCP, Azure en On-Premise stacks. Detectie maakt gebruik van een tweeledig, LLM-vrij regex-matching systeem:

• Tier 1: Ken een provider toe op basis van een enkele expliciete keyword match.
• Tier 2: Vereist $\ge$2 matches van servicenamen om ambiguïteit op te lossen (bijv. het onderscheiden van "lambda" als AWS Lambda versus een Python-keyword).
  Het systeem vergelijkt de cloud-signatuur van een rol vóór en na de optimalisatie. Als er nieuwe providers worden gedetecteerd, wordt de output teruggedraaid en wordt er een waarschuwing geïnjecteerd voor een nieuwe poging (retry).

Laag 3: Handhaving van Structurele Invarianten

Deze laag adresseert structurele mutatie door het aantal semantische eenheden voor en na de optimalisatie te tellen. Het valideert dat het aantal ervaring-entries ($|E'| \ge |E|$) en het aantal opsommingstekens per entry ($|b'_i| \ge |b_i| - 1$) binnen een tolerantie worden gehandhaafd. Significante inhoudelijke verliezen triggeren een retry met expliciete structurele doelen.

Laag 4: Prompt-Level Content Grounding

Dit is de eerste verdedigingslinie, waarbij expliciete onveranderlijkheidsregels direct in de prompts van de agent worden ingebed. Beperkingen omvatten:

• Het behouden van het exacte aantal opsommingstekens.
• Het verbieden van het toevoegen of wijzigen van educatieve details.
• Het voorkomen van het creëren van nieuwe bedrijven of het gebruik van placeholders.
• Het waarborgen dat statistieken realistisch blijven voor de betreffende periode.

Laag 5: Evaluator Agent QA Gate

Een onafhankelijke LLM-instantie fungeert als een adversariële kwaliteitscontrole-agent. Deze ontvangt het originele cv, de herschreven versie en de doelgerichte vacaturetekst. De agent geeft een binaire acceptatiebeslissing en feedback. Als de evaluator de output afwijst, wordt de feedback geïnjecteerd in de volgende herschrijfpoging. Als de evaluator faalt (timeout/malformed output), wordt er standaard voor afwijzing gekozen om stille acceptatie van hallucinaties te voorkomen.

Fallback Mechanisme

Als validatie na drie retry-cycli faalt, gebruikt het systeem een deterministisch fallback-merge mechanisme dat de beste LLM-output combineert met de behouden originele inhoud om te garanderen dat er geen originele data verloren gaat.

3. Belangrijkste Bijdragen

1. Hallucinatie Taxonomie: Een classificatie van vier specifieke modi van hallucinatie (Temporeel, Cross-Domain, Structureel, Inhoudelijk) die uniek zijn voor de optimalisatie van persoonlijke documenten.
2. Vijflagig Framework: Een functioneel multi-agent systeem dat deterministische validatie, prompt engineering en adversariële controle combineert.
3. Deterministische Contaminatie Detector: Een regex-gebaseerd hulpmiddel dat 257 cloud-services dekt met een tweeledige confidence scoring, ontworpen om het introduceren van een tweede LLM-hallucinatieoppervlak te voorkomen.
4. Ablatie- en Sensitiviteitsanalyse: Een evaluatie over 16 experimentele condities (3 LLM's, 4 temperaturen, 6 laag-configuraties, 680 LLM-aanroepen) die de bijdrage van elke laag karakteriseert.

4. Experimentele Resultaten

Het framework werd geëvalueerd op 25 synthetische cv's verspreid over 14 industrieën en 42 rollen.

• Baseline Prestaties: Onverdedigde baselines produceerden 2,48–5,36 gedetecteerde hallucinaties per cv, waarbij Cross-Domain Contaminatie (H2) de dominante faalmodus was (79–89% van de incidenten).
• Ablatie Studie (GPT-4.1-nano, t=0):
  • Prompt-Level Grounding (L4) alleen: Bereikte 0,00 gedetecteerde hallucinaties in deze specifieke configuratie.
  • Volledig Framework: Bereikte een ratio van 0,12 (0,04 wanneer de waarschijnlijkheids-false-positives in H4 worden uitgesloten).
  • De studie merkte op dat de prestaties van L4-alleen niet generaliseerden naar zwakkere modellen of hogere temperaturen.
• Multi-Model Generalisatie:
  • Minder capabele modellen (GPT-4o-mini, Llama-3.1-8B) produceerden 2–4$\times$ meer baseline hallucinaties.
  • Het Volledige framework verminderde de gedetecteerde hallucinatie-ratio's met 95,2% – 99,3% over alle geteste modellen.
• Temperatuur Sensitiviteit:
  • Naarmate de temperatuur toenam van 0,0 naar 1,0, nam de resterende hallucinatie-ratio onder het Volledige framework toe van 0,12 naar 0,24.
  • Deze toename werd bijna volledig gedreven door Temporele (H1) residuen, wat suggereert dat prompt-compliance verzwakt bij hogere stochasticiteit, wat de noodzaak van de deterministische lagen (L1–L3) als complement aan prompt grounding benadrukt.

5. Betekenis en Beperkingen

Betekenis:
Het paper betoogt dat hoewel prompt engineering effectief is onder ideale omstandigheden (sterke modellen, lage temperatuur), het onvoldoende is voor robuuste productiesystemen. De deterministische lagen (L1–L3) bieden cruciale waarde juist daar waar prompt-compliance het zwakst is (hoge temperatuur, zwakkere modellen). Het werk karakteriseert de specifieke faalmodi van de optimalisatie van persoonlijke documenten en biedt een systematische, gelaagde aanpak om hallucinaties te mitigeren zonder uitsluitend te vertrouwen op externe kennisbronnen.

Beperkingen:
De auteurs vermelden expliciet enkele beperkingen:

• H2 Detector-Defense Koppeling: De H2-detector en de Laag 2-defensie delen dezelfde onderliggende functie. Hierdoor zijn H2-tellingen in configuraties waar Laag 2 actief is, mechanisch nul door constructie en kunnen ze niet worden geïnterpreteerd als onafhankelijke empirische metingen van eliminatie.
• Dataset: De evaluatie steunt op 25 synthetische cv's en een taxonomie van 257 services, wat de werkelijke distributies en long-tail platforms (bijv. Salesforce, SAP) kan missen.
• Scope van de Detector: De detectoren zijn taakspecifiek en vergelijken niet met algemene hallucinatie-benchmarks zoals SelfCheckGPT of FActScore.
• Magnitude: Het framework detecteert de aanwezigheid van hallucinaties, maar niet noodzakelijkerwijs de omvang van de fabricatie.

De auteurs concluderen dat toekomstig werk prioriteit moet geven aan een onafhankelijke NLI-gebaseerde evaluator voor cross-domain contaminatie en menselijke annotatie op echte cv's.