Technische Samenvatting: DD-GEPA

Probleemstelling

Multi-party chatomgevingen, zoals Slack en IRC, bevatten vaak verstrengelde dialogen waarbij meerdere deelnemers tegelijkertijd verschillende onderwerpen bespreken. Deze "verstrengeling" compliceert automatische analyse, omdat uitingen uit ongerelateerde threads kunnen worden aangezien voor relevante context. Dialoog-ontstrengeling (dialogue disentanglement) heeft tot doel een verstrengelde sequentie van uitingen te partitioneren in coherente dialoogclusters op basis van reply-to relaties.

Hoewel Large Language Models (LLM's) over sterke contextuele redeneercapaciteiten beschikken, leverde hun initiële toepassing op dialoog-ontstrengeling een lage nauwkeurigheid op, die vaak tekortschoot ten opzichte van traditionele non-LLM methoden. Vervolglaboratoria toonden aan dat prompt design de prestaties aanzienlijk kon verbeteren, maar de effectiviteit van specifieke prompt-componenten (zoals dialoogniveau-toewijzing of daaropvolgende context) varieert tussen verschillende LLM's. Bovendien is het handmatig ontwerpen van optimale prompts moeilijk vanwege de inherente ambiguïteit in annotatierichtlijnen en de hoge gevoeligheid van LLM-prestaties voor specifieke formattering en instructiedetails. Daarom blijft er behoefte aan een robuuste, automatische methode om prompts te optimaliseren voor LLM-gebaseerde dialoog-ontstrengeling, met name voor open-weight modellen waarbij privacyzorgen lokale implementatie noodzakelijk maken.

Methodologie

Het artikel stelt DD-GEPA voor, een automatisch prompt-optimalisatieframework aangepast van GEPA (Agrawal et al., 2026), een methode ontworpen voor compound AI-systemen. De kern van de aanpak bestaat uit het deconstrueren van de dialoog-ontstrengelingsprompt in drie afzonderlijke, optimaliseerbare modules:

1. Taakinstructie (Task Instruction): Definieert de taak, legt de criteria voor toewijzingsbeslissingen uit en specificeert het bewijs dat gebruikt zal worden.
2. Uiting-representatie (Utterance Representation): Specificeert hoe metadata van uitingen (index, tijdstempel, speaker ID) en inhoud worden geformatteerd voor de LLM (bijv. JSON, gelabelde tekst).
3. Output-instructie (Output Instruction): Dicteert het formaat van de voorspelling van het model (bijv. specifieke JSON-sleutels, boolean flags).

Optimalisatieproces:
DD-GEPA onderhoudt een pool van kandidaat-"programma's" (combinaties van de drie modules). De optimalisatiecyclus verloopt als volgt:

• Selectie: Een kandidaat-programma wordt uit de pool geselecteerd met behulp van Pareto-gebaseerde selectie, waarbij prioriteit wordt gegeven aan degenen met hogere totale scores op een validatieset, terwijl gedomineerde kandidaten worden verwijderd.
• Executietracen (Execution Traces): Het geselecteerde programma wordt uitgevoerd op een minibatch van trainingsinstanties. Executietracen worden verzameld, inclus_ief de input, output, redeneertekst en de correctheid van de beslissing. Voor onjuiste beslissingen wordt een LLM geprompt om een verklaring voor de fout te genereren.
• Module-update: De optimizer selecteert één module om te updaten (in een round-robin volgorde). Met behulp van de verzamelde tracen en foutverklaringen genereert de LLM een verbeterde versie van de geselecteerde module.
  • Voor Uiting-representatie stelt de LLM een nieuw formaat voor, en een externe functie genereert code om ruwe data naar dit formaat te converteren.
  • Voor Output-instructie stelt de LLM een nieuw output-schema voor, en een externe functie genereert code om de ruwe output van het model te parsen naar het standaard evaluatieformaat.
• Evaluatie: Het nieuwe programma wordt geëvalueerd op de minibatch. Als het de prestaties verbetert, wordt het toegevoegd aan de kandidaat-pool en vervolgens geëvalueerd op een grotere validatieset.

Het proces iterereert voor een vast aantal stappen, waarbij het programma met de hoogste validatiescore wordt geselecteerd als de definitieve geoptimaliseerde prompt.

Belangrijkste Bijdragen

• Automatische Prompt-optimalisatie voor Ontstrengeling: Het artikel introduceert DD-GEPA, de eerste methode die prompts automatisch optimaliseert specifiek voor dialoog-ontstrengeling, waarmee het probleem van handmatig ontwerp voor deze complexe taak wordt aangepakt.
• Modulaire Decompositie: In tegenstelling tot eerdere benaderingen die prompts als monolithische blokken behandelden, deconstrueert dit werk prompts in taakinstructie, uiting-representatie en output-instructie, en optimaliseert ze gezamenlijk om rekening te houden met hun onderlinge afhankelijkheden.
• Adaptatie van GEPA: De auteurs passen het GEPA-framework, oorspronkelijk ontworpen voor algemene compound AI-systemen, aan om de specifieke beperkingen van dialoog-ontstrengeling te hanteren, inclusief de generatie van conversie- en parsing-code voor dynamische prompt-componenten.

Experimentele Resultaten

Experimenten werden uitgevoerd op de Ubuntu IRC-dataset, een standaard benchmark voor dialoog-ontstrengeling. De studie maakte gebruik van de Qwen3-30B open-weight LLM.

• Prestatiewinst: De geoptimaliseerde prompt ("Optimum") presteerde aanzienlijk beter dan zowel de initiële seed-prompts als een sterke handmatig ontworpen baseline (reproductie van het werk van Takada en Mori, 2026) over meerdere metrieken, waaronder Variation of Information (VI), Adjusted Rand Index (ARI) en F1-scores.
• Vergelijking met Propriëtaire Modellen: Hoewel het geoptimaliseerde open-weight model de handmatig ontworpen prompt op hetzelfde model overtrof, presteerde het nog steeds minder goed dan propriëtaire LLM's (bijv. GPT-5.2) met handmatig vervaardde prompts.
• Optimalisatiegrenzen: Het optimalisatietraject vertoonde een snelle verbetering in de vroege iteraties, waarbij het beste programma werd gevonden bij de vijfde update. Latere updates leverden geen verdere winst op, wat suggereert dat het optimalisatieproces een lokaal plateau heeft bereikt of dat de trainings-tracen onvoldoende diversiteit misten om verdere verfijning te sturen.

Betekenis en Claims

Het artikel claimt dat DD-GEPA een levensvatbaar pad biedt om de nauwkeurigheid van LLM-gebaseerde dialoog-ontstrengeling te verbeteren zonder dat handmatige prompt engineering vereist is. Door aan te tonen dat automatische optimalisatie een handmatig vervaardigde prompt op dezelfde modelarchitectuur kan overtreffen, benadrukt het werk het potentieel van geautomatiseerde methoden om de capaciteiten van open-weight LLM's te ontsluiten. Dit is bijzonder significant voor toepassingen die te maken hebben met chatdata met persoonlijke informatie, waarbij open-weight modellen de voorkeur genieten boven propriëtaire API's.

De auteurs houden echter een bescheiden standpunt aan met betrekking tot de uiteindelijke prestatieplafond. Ze erkennen dat zelfs met optimalisatie, de huidige open-weight benadering nog niet overeenkomt met de prestaties van de sterkste non-LLM methoden (bijv. DiHRL) of propriëtaire LLM's. Het artikel concludeert dat hoewel DD-GEPA een nuttige basis biedt voor toekomstige optimalisatie, er nog steeds uitdagingen zijn met betrekking tot de diversiteit van trainings-tracen en de moeilijkheid van de taak zelf, zoals blijkt uit de vroege verzadiging van de optimalisatiewinsten.