Technische Samenvatting: Dual-Agent Co-Training voor Gezondheidscoaching via Impliciete Adversariële Preferentie-Optimalisatie

Probleemstelling

Motiverende gespreksvoering (MI) is een bewezen aanpak voor het verbeteren van de mentale gezondheid en het bevorderen van gedragsverandering, maar de schaalbaarheid ervan wordt beperkt door het tekort aan opgeleide menselijke coaches en hoge servicekosten. Hoewel er AI-assistenten bestaan, optimaliseren bestaande trainingsmethoden voor gezondheidscoaching doorgaans slechts één kant van de interactie: ofwel wordt een dialoagent getraind tegen een vaste cliëntomgeving, ofwel wordt een cliëntsimulator getraind tegen een vaste assistent. Deze asymmetrische opstelling beperkt de verkenning van de interactieruimte en faalt in het efficiënt ontwikkelen van de complexe, contextgevoelige vaardigheden die nodig zijn voor hoogwaardige coaching. Bovendien hangt succes in MI af van de kwaliteit van het gedrag gedurende de hele sessie, niet alleen van het eindresultaat, wat optimalisatie vereist over meerdere dimensies (bijvoorbeeld het kweken van verandertaal, het verzachten van vasthoudende taal, empathie) in plaats van een enkele scalare beloning.

Methodologie: DACT

De auteurs stellen DACT (Dual-Agent Co-Training) voor, een kader dat gezamenlijk een gezondheidscoachagent en een cliëntsimulator traint via interactieve dialoog. De kerninnovatie is een impliciete adversariële trainingsdynamiek waarbij de cliënt leert om steeds uitdagendere interacties te genereren, waardoor de coach wordt gedwongen te verbeteren.

1. Constructie van een Voorkeursdialoogboom

In plaats van te vertrouwen op dure expertdemonstraties, construeert DACT voorkeursbomen via een rollout-procedure:

• Initialisatie: Een dialoogboom wordt geïnitieerd met een willekeurige cliëntpersona.
• Vertakking: Bij geselecteerde dialoogtoestanden steekt de coach meerdere kandidaat-uitingen. Voor elke coach-uiting steekt de cliënt onafhankelijk meerdere reacties.
• Uitbreiding: Dit vertakkings- en rollout-proces gaat recursief door tot een vooraf bepaalde diepte, waardoor een gebalanceerde boom ontstaat waarbij broer- en zusterknooppunten (uitingen op dezelfde diepte) worden vergeleken onder gelijke rollout-budgetten.

2. Meerdimensionale LLM-rechter en Q-waarde Schatting

Om coachkwaliteit te evalueren zonder menselijke experts, maken de auteurs gebruik van een meerdimensionale LLM-rechter (gebaseerd op de MITI 4.2.1 coderingshandleiding) die coach-uitingen beoordeelt op drie dimensies:

• Kweken van Verandertaal (CCT)
• Verzachten van Vasthoudende Taal (SST)
• Empathie

De rechter werkt in drie fasen: (1) het identificeren van de toestand van de cliënt (bijvoorbeeld betrokken, ambivalent, emotioneel), (2) het labelen van de functie van elke zin in het antwoord van de coach (bijvoorbeeld open vraag, reflectie, ongevraagd advies), en (3) het aggregeren van op redenering gebaseerde scores.

• Q-waarde Propagatie: Directe scores op wisselingsniveau worden via een afgevlakte recursieve backup omhoog door de boom gepropageerd om de langetermijnwaarde ($Q$) van een coach-uiting te schatten, rekening houdend met downstream-effecten op de dialoogtraject.

3. Impliciete Adversariële Preferentietraining

Het kader gebruikt Direct Preference Optimization (DPO) voor beide agenten, maar met tegenstrijdige doelen die zijn afgeleid van dezelfde Q-waarden:

• Coach-Optimalisatie: De coach wordt getraind op Pareto-dominante voorkeursparen. Een coach-reactie $A$ wordt verkiest boven $B$ als $A$'s Q-vector $B$'s op alle dimensies zwak domineert en op ten minste één dimensie strikt domineert. Dit zorgt ervoor dat de coach zich tegelijkertijd op alle dimensies verbetert zonder compromissen.
• Cliënt-Optimalisatie: De cliënt wordt adversariaal getraind. Het voorkeurssignaal is de negatie van de Q-waarden van de coach ($S(u) = -Q(u)$). De cliënt wordt getraind om uitingen te prefereren die leiden tot lagere downstream coachkwaliteit (d.w.z. kleinere Q-waarden voor de coach). Dit induceert de cliënt om "moeilijkere" MI-gedragingen te leren (bijvoorbeeld sterke weerstand, complexe ambivalentie, emotionele distress) die de huidige zwaktes van de coach uitdagen.

4. Interpretatie als Stochastisch Spel

De auteurs tonen aan dat dit co-trainingsproces een natuurlijke interpretatie als stochastisch spel toestaat. De coach en de cliënt kunnen worden gezien als twee spelers in een spel met tegenstrijdige latente nutswaarden: de coach streeft naar het maximaliseren van de downstream meerdimensionale coachkwaliteit, terwijl de cliënt streeft naar het minimaliseren daarvan. De alternerende DPO-updates komen overeen met KL-geregulariseerde stappen voor beleidsverbetering voor deze adversariaal gekoppelde spelers.

Belangrijkste Bijdragen

1. Constructie van een Voorkeursdialoogboom voor Dual-Agenten: Een efficiënte, goedkope methode voor het verzamelen van voorkeursparen tijdens training met behulp van boom-rollouts en een meerdimensionale LLM-rechter, zonder afhankelijkheid van expertdemonstraties.
2. Meerdimensionale LLM-rechter: Een klinisch onderbouwde evaluatiesysteem dat oordeel decomposeert in toestandidentificatie, functionele labeling en op redenering gebaseerde aggregatie om Q-waarden te schatten over CCT, SST en Empathie.
3. Impliciete Adversariële Preferentietraining: Een nieuwe trainingsdynamiek waarbij de cliënt wordt getraind om de voorkeuren van de coach om te keren, waardoor een zelfgestuurde adversariële curriculum ontstaat die de coach blootstelt aan steeds moeilijkere conversatiesituaties zonder handmatige moeilijkheidsgraadplanning.
4. Formalisatie als Stochastisch Spel: Een theoretische interpretatie van de co-trainingsdynamiek als een tweespeler-stochastisch spel met tegenstrijdige nutswaarden.

Experimentele Resultaten

De auteurs evalueerden DACT tegen drie baselines: een Supervised Fine-Tuning (SFT) baseline, een GPT-5.5 baseline met standaard prompting (GPT-COACH), en een GPT-5.5 baseline met de scoringsrubriek ingebouwd in de prompt (GPT-RUBRIC).

• Prestaties: DACT behaalde de hoogste algehele coachkwaliteit (mean3-score) over vier cliëntcondities, waaronder een in-distribution "stress test" cliënt (R8-CLIENT) en drie out-of-distribution simulators (Emotioneel, Resistent, Ambivalent). Op de uitdagende R8-CLIENT scoorde DACT 4,25, wat significant beter was dan de GPT-RUBRIC baseline (3,33).
• Onderdrukking van Anti-patronen: DACT verlaagde het percentage MI-anti-patronen (klinisch ongewenst gedrag) met 20–40 keer ten opzichte van de op één na beste methode. Bijvoorbeeld, op de R8-CLIENT had DACT een anti-patroonpercentage van 0,41%, terwijl GPT-RUBRIC 16,15% had.
• Co-evolutiedynamiek: Ablatiestudies toonden aan dat co-evolutie cruciaal is. Wanneer de cliënt werd bevroren (Client-Frozen), bereikte de prestatie van de coach vroeg een plateau. Alleen met de adaptieve cliënt bleef de coach verbeteren, met name op de CCT- en SST-dimensies.
• Menselijke Alignering: Een blinde rangschikkingstudie met een opgeleide MI-praktijktoefser toonde een sterke overeenkomst (77,5%) tussen de voorkeuren van de LLM-rechter en de rangschikkingen van menselijke experts, wat de LLM-rechter valideert als een proxy voor expertevaluatie.

Betekenis en Claims

Het artikel beweert dat DACT effectief de beperkingen van eenzijdige training aanpakt door een zelfverbeterende lus te creëren waarin coach en cliënt co-evolueren. De betekenis ligt in:

• Schaalbaarheid: Het bieden van een methode om hoogwaardige AI-gezondheidscoaches te trainen zonder de prohibitieve kosten van menselijke expertdemonstraties.
• Robuustheid: Het co-trainingsproces produceert coaches die goed generaliseren naar moeilijke, out-of-distribution cliëntgedragingen en klinisch schadelijke anti-patronen onderdrukken.
• Theoretisch Inzicht: Het kader verbindt preferentie-optimatie en speltheorie, en laat zien dat impliciete adversariële dynamiek kan worden geformaliseerd als een stochastisch spel.

De auteurs blijven bescheiden, en merken op dat de resultaten zijn gebaseerd op een enkel basismodel en dat de omvang van de verbetering op in-distribution stress-tests kan variëren onder volledige expert MITI-evaluatie. Zij identificeren replicatie op aanvullende basismodellen en volledige expertevaluatie als noodzakelijke volgende stappen.