Graph2Counsel: Clinically Grounded Synthetic Counseling Dialogue Generation from Client Psychological Graphs

Probleemstelling

De vraag naar mentale gezondheidszorg neemt wereldwijd toe, maar de toegang tot professionele counseling wordt beperkt door een tekort aan clinicians, hoge kosten en stigma. Large Language Models (LLMs) bieden een potentieel alternatief, maar het inzetten van algemene LLMs in deze risicovolle domein brengt ernstige veiligheidsrisico's met zich mee, zoals hallucinaties, misplaatste interventies en potentiële psychologische schade.

De ontwikkeling van veilige en effectieve counseling-LLMs wordt gehinderd door het gebrek aan hoogwaardige, real-world counseling-data vanwege strikte privacy- en ethische beperkingen. Bestaande synthetische datasets lijden vaak onder de volgende tekortkomingen:

• Ze vertrouwen op ongestructureerde of semi-gestructureerde tekstinput (zoals demografie of symptoomlijsten).
• Ze negeren de structurele afhankelijkheden tussen cognitieve, emotionele en gedragsmatige toestanden van een cliënt.
• Dit leidt tot psychologisch inconsistente interacties en een gebrek aan realisme in de gegenereerde dialogen.

Methodologie: Graph2Counsel

Het paper introduceert Graph2Counsel, een raamwerk voor het genereren van synthetische counselingsessies die zijn verankerd in Client Psychological Graphs (CPGs).

1. Client Psychological Graphs (CPGs):
In plaats van ongestructureerde teksten, worden CPGs gebruikt als gestructureerde representatie. Een CPG is een gerichte, gelabelde graaf waarbij:

• Knooppunten (Nodes): Psychologische processen vertegenwoordigen (bijv. "angst voor oordeel", "overdenken").
• Randen (Edges): Functionele relaties tussen deze processen aangeven, zoals excitatie (versterking) of inhibitie (remming).
  Deze grafen worden geëxtraheerd uit echte therapie-transcripten en bevatten geen persoonlijke identificeerbare informatie, maar wel de onderliggende klinische redenering.

2. Generatieproces:
Het framework volgt een gestructureerde pipeline:

• Input: Het systeem gebruikt CPGs, CPG-afgeleide cliëntprofielen (demografisch en contextueel) en geëxtraheerde counselorstrategieën (interventies uit echte sessies).
• Prompting Technieken: Er worden verschillende prompting-strategieën onderzocht om de kwaliteit van de dialogen te optimaliseren:
  • Base: Directe generatie zonder specifieke counseling-richtlijnen.
  • Guided Counseling (GC): Conditioning op hoog-niveau counselingstrategieën (bijv. empathie opbouwen, herformulering) die zijn geëxtraheerd uit echte sessies.
  • Chain-of-Thought (CoT): Het model moet eerst redeneren (gebaseerd op de CPG en strategieën) voordat het een dialoog-uiting genereert.
  • Multi-Agent Feedback (MA): Een iteratieve cyclus waarbij één agent de sessie genereert en een tweede agent feedback geeft op richtlijn-afwijkingen, waarna de eerste agent de sessie herwerkt.
• Output: Het systeem genereert multi-turn dialogen die klinisch betekenisvolle interacties weerspiegelen.

3. Dataset:
Er zijn 760 synthetische sessies gegenereerd vanuit 76 unieke CPGs, wat resulteert in diverse cliëntprofielen die 29 verschillende therapiemodaliiteiten omvatten.

Belangrijkste Bijdragen

1. Framework: Introductie van Graph2Counsel, het eerste raamwerk dat synthetische counselingdialogen genereert op basis van gestructureerde Client Psychological Graphs.
2. Dataset: Creatie van een nieuwe benchmark-dataset van 760 sessies die de complexiteit van de relatie tussen gedachten, emoties en gedrag vastlegt.
3. Ablatiestudies: Uitgebreide analyse van verschillende input-representaties (CPG alleen, profiel alleen, of gecombineerd) en prompting-technieken (GC, CoT, Multi-Agent) om de invloed op de kwaliteit te meten.
4. Fine-tuning en Evaluatie: Het fine-tunen van een open-source model (Llama3-8B-Instruct) op deze dataset, wat leidt tot verbeterde prestaties op bestaande counseling-benchmarks.
5. Expert Validatie: Een uitgebreide evaluatie door vier erkende klinische psychologen die de superioriteit van de dataset aantonen ten opzichte van bestaande synthetische datasets.

Resultaten

De evaluatie toonde aan dat Graph2Counsel aanzienlijk beter presteert dan bestaande methoden (zoals CACTUS, MAGneT en SQPsychConv):

• Expert Evaluatie: Graph2Counsel behaalde de hoogste scores op alle criteria:
  • Specificiteit: Meer gedetailleerde en gepersonaliseerde dialogen.
  • Counselor Competentie: Meer klinisch accurate en evidence-based interventies.
  • Authenticiteit: Natuurlijkere en menselijker interacties.
  • Conversatieflow: Soepelere overgangen en minder robotachtige patronen.
  • Veiligheid: De laagste percentage onveilige sessies (0,5%), grotendeels dankzij de dubbele verankering in psychologische theorie en echte sessiestrategieën.
  • De inter-annotator overeenstemming was sterk (Krippendorff's α = 0,70).
• Downstream Taken: Het op Graph2Counsel getrainde model (Llama3-G2C) presteerde beter op de benchmarks CounselingBench en CounselBench dan modellen getraind op andere synthetische datasets. Het toonde met name betere empathie, specificiteit en vermijding van medisch advies, zonder in te leveren op veiligheid.
• Trouw aan Input: De gegenereerde sessies waren zeer trouw aan de input: 91% van de psychologische processen in de CPG kwam terug in de sessie, en 99% van de sessies bevatte geen tegenstrijdigheden met het cliëntprofiel.

Betekenis en Impact

Graph2Counsel biedt een cruciale oplossing voor het tekort aan hoogwaardige, privacy-bewuste data voor het trainen van AI-systemen in de mentale gezondheidszorg. Door gebruik te maken van CPGs in plaats van ongestructureerde tekst, slaagt het framework erin om de complexe dynamiek van menselijke psychologie te modelleren zonder gevoelige persoonsgegevens te onthullen.

De resultaten tonen aan dat synthetische data, wanneer deze klinisch grondig is verankerd, niet alleen de kwaliteit van dialogen verbetert, maar ook de prestaties van open-source modellen op professionele counseling-taken significant kan verhogen. Dit opent de weg voor het ontwikkelen van veiligere, effectievere en schaalbare AI-assistenten voor mentale gezondheidszorg, hoewel de auteurs benadrukken dat dergelijke systemen nog uitgebreide klinische validatie nodig hebben voordat ze in de echte wereld kunnen worden ingezet.