COACH meets QUORUM: A Framework and Pipeline for Aligning User, Expert and Developer Perspectives in LLM-generated Health Counselling

Dit paper introduceert het COACH-pipeline- en QUORUM-evaluatiekader om gepersonaliseerde gezondheidsadvisering voor kankerpatiënten te genereren en te valideren, waarbij wordt aangetoond dat hoewel gebruikers, experts en ontwikkelaars het eens zijn over de kwaliteit van de inhoud, er belangrijke verschillen blijven bestaan in percepties over toon, foutgevoeligheid en hallucinaties.

De kern

Stel je voor dat je een slimme, digitale levenscoach hebt die je helpt om je beter te voelen, vooral als je te maken hebt met de gevolgen van kankerbehandeling. Deze coach kijkt naar je dagboek (slaap, stemming, energie) en geeft je persoonlijk advies.

Dit artikel vertelt het verhaal van hoe een team van onderzoekers, artsen en ontwikkelaars zo'n coach hebben gebouwd en, nog belangrijker, hoe ze hebben getest of hij wel goed werkt. Ze noemen hun project COACH en hun testmethode QUORUM.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Alles-weter" die soms verdwaalt

Mensen met kanker hebben vaak last van vermoeidheid of mentale klachten. Ze willen weten: "Hoe slaap ik beter?" of "Waarom ben ik zo moe?".
Op internet vind je duizenden antwoorden, maar die zijn vaak te algemeen, te vaag of soms zelfs fout. Een echte arts heeft geen tijd om elke dag naar jouw dagboek te kijken.

Daar komt COACH (de AI-coach) om de hoek kijken. Deze is slim: hij leest je dagboek én hij kijkt in een enorme, betrouwbare medische bibliotheek (van kanker.nl) om het juiste antwoord te vinden.

2. De Uitdaging: Drie verschillende brillen

Het probleem bij het bouwen van zo'n robot is dat iedereen anders kijkt naar wat "goed" is. Het artikel vergelijkt dit met drie mensen die naar dezelfde auto kijken:

• De Gebruiker (Jij): Kijkt of de auto comfortabel rijdt. "Voelt het advies alsof het voor mij is? Is de toon vriendelijk? Ga ik dit advies ook echt opvolgen?"
• De Expert (De Arts): Kijkt onder de motorkap. "Is de techniek veilig? Is de medische informatie 100% correct? Is de toon niet te kinderachtig?"
• De Ontwikkelaar (De Mechanicus): Kijkt of de motor niet vastloopt. "Kloppen de cijfers? Haalt de computer de juiste gegevens op? Droomt de robot (hallucineert) hij dingen die niet bestaan?"

Vaak kijken deze drie groepen alleen door hun eigen bril. De ontwikkelaar zegt: "De motor loopt perfect!" terwijl de gebruiker zegt: "Maar ik vind de stoel te hard."

3. De Oplossing: QUORUM (De Grote Vergaderzaal)

Om dit op te lossen, hebben de onderzoekers QUORUM bedacht.
Stel je QUORUM voor als een vergaderzaal waar de gebruiker, de arts en de ontwikkelaar samen aan tafel zitten. Ze kijken niet alleen naar hun eigen bril, maar naar één gezamenlijk rapport.

• Wat doen ze? Ze testen de COACH-robot op honderden vragen.
• Wat vinden ze?
  • Gebruikers: "Super! Het advies past precies bij mijn situatie en ik ga het proberen." (De stoel zit comfortabel).
  • Experts: "De medische feiten kloppen, maar soms klinkt de robot een beetje te direct of saai." (De motor is veilig, maar de lak is niet perfect).
  • Ontwikkelaars: "De robot haalt 97% van de juiste gegevens op, maar soms verzint hij een klein detail dat niet in de database staat." (De motor loopt goed, maar er is een klein piepje).

4. Het Resultaat: Een goede start, maar nog ruimte voor groei

De conclusie is positief: de robot werkt! De drie groepen zijn het erover eens dat het advies nuttig en betrouwbaar is.

Maar er zijn ook verschillen:

• De Toon: De arts vindt de robot soms wat te sturend ("Doe dit!"), terwijl de gebruiker dat juist motiverend vindt.
• De "Hallucinaties": Soms zegt de robot iets als "Eet noten en yoghurt" terwijl in de medische database alleen "Eet eiwitten" staat. De ontwikkelaar ziet dit als een foutje (de robot droomt een beetje), maar de arts vindt het misschien wel een slimme, logische stap.

De Gouden Leerling

Het belangrijkste wat dit artikel ons leert, is dat je een slimme gezondheids-app niet alleen door ingenieurs mag laten testen. Je moet de gebruiker (die het voelt) en de expert (die de regels kent) erbij halen.

QUORUM is dus als een kwaliteitskeurmerk dat niet alleen zegt "dit werkt technisch", maar ook "dit voelt goed voor de mens en is veilig voor de patiënt".

Kortom: Ze hebben een slimme robot gebouwd die helpt bij kanker. Hij is nog niet perfect (soms klinkt hij een beetje stijf of verzint hij een detail), maar met deze nieuwe testmethode weten ze precies waar ze hem moeten verbeteren om hem tot een echte, betrouwbare levenscoach te maken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "COACH meets QUORUM: A Framework and Pipeline for Aligning User, Expert and Developer Perspectives in LLM-generated Health Counselling", geschreven in het Nederlands.

1. Probleemstelling

Mensen die leven met de gevolgen van kanker (behandeling) kampen vaak met langetermijneffecten zoals vermoeidheid en mentale gezondheidsproblemen. Hoewel gezonde levensstijlveranderingen (zoals meer bewegen) bewezen positieve effecten hebben, is er een tekort aan gepersonaliseerde levensstijladviezen in de gezondheidszorg. Bestaande systemen zijn vaak te fragmentarisch, te algemeen of niet gebaseerd op de specifieke situatie van de gebruiker.

Daarnaast is de evaluatie van AI-systemen voor gezondheidsadvisering vaak gebrekkig:

• Methodologieën zijn gefragmenteerd en missen realistische contexten.
• Er is een gebrek aan een holistische evaluatie die rekening houdt met de verschillende perspectieven van gebruikers (relevantie), medische experts (kwaliteit/correctheid) en ontwikkelaars (betrouwbaarheid/technische metrics).
• Bestaande chatbots negeren vaak de nuance tussen wat een gebruiker nodig heeft en wat medisch verantwoord is.

2. Methodologie

Het paper introduceert twee hoofdcomponenten: het QUORUM-evaluatiekader en de COACH-pijplijn.

A. Het QUORUM-evaluatiekader

QUORUM (QUality, Outcome Reliability, and User-relevance from Multiple stakeholders) is een unificerend kader dat drie complementaire perspectieven combineert om de impact van AI-systemen in de gezondheidszorg te beoordelen:

1. Gebruiker-centric (Relevantie):
   • Focus: Past het advies bij de situatie? Is de toon en lengte acceptabel? Is de gebruiker gemotiveerd om het advies op te volgen?
   • Meting: Likert-schalen voor alignatie, follow-up-kans, toon en lengte.
2. Expert-centric (Kwaliteit):
   • Focus: Is de medische informatie correct? Is de contextualisering van patronen juist? Is de toon en lengte geschikt voor de doelgroep?
   • Meting: Beoordeling van correctheid van contextualisatie, toon en lengte door onafhankelijke experts (kanker-informatiespecialisten).
3. Developer-centric (Betrouwbaarheid):
   • Focus: Technische prestaties van het model.
   • Meting:
     • Faithfulness (Trouw): Zijn claims over gebruikersdata consistent met de feitelijke data?
     • Completeness (Volledigheid): Zijn alle relevante variabelen uit de data opgehaald?
     • Hallucination: Zijn contextualiserende stellingen terug te leiden naar de externe kennisbron (RAG) of zijn ze verzonnen?

B. De COACH-pijplijn (Contextualised Outcome-Adaptive Counselling for Health)

COACH is een Large Language Model (LLM)-gedreven pijplijn die is ontwikkeld voor de Healthy Chronos-app (een digitaal dagboek voor kankerpatiënten).

• Architectuur: Gebruikt Retrieval-Augmented Generation (RAG).
• Input: Een gebruikersvraag over hun data (bijv. "Hoe kan ik beter slapen?").
• Proces:
  1. De query wordt ge-embedd (OpenAI text-embedding-3-small).
  2. Relevantie zoekopdracht in een vectorstore van de gevalideerde kennisbron kanker.nl.
  3. De vier meest relevante tekststukken (chunks) worden opgehaald.
  4. De gebruikersdata (uit het dagboek: slaap, stemming, activiteiten) wordt geconverteerd naar Markdown en gecombineerd met de query en de opgehaalde chunks in een prompt.
  5. Prompt Engineering: De prompt bevat instructies voor empathische toon, beknopte antwoorden, en het vermijden van medisch advies. Er worden voorbeelden gegeven (in-context learning) om het model te prikkelen relevante kolommen te koppelen.
  6. Output: Een gepersonaliseerd advies dat claims over de data (bijv. "U sliep slecht op dinsdag") koppelt aan contextuele informatie uit de kennisbron (bijv. "Slechte slaap kan vermoeidheid veroorzaken").
• Model: GPT-4o (vanwege privacy en bestaande workflows).

3. Experimenteel Opzet

• Gebruikers: 19 Nederlandse app-gebruikers beoordeelden antwoorden op de vraag "Wat gaat goed en wat kan beter?".
• Experts: 6 experts van kanker.nl beoordeelden 50 willekeurige query-antwoordparen op correctheid, toon en lengte.
• Ontwikkelaars: 2 ontwikkelaars beoordeelden 66 claims over data en 31 contextualiserende stellingen op faithfulness, volledigheid en hallucinatie.

4. Belangrijkste Resultaten

Convergentie (Overeenstemming)

Alle drie de groepen kwamen over het algemeen tot een positieve beoordeling:

• Gebruikers: Vonden het advies relevant (gemiddelde score ~3.9-4.3), goed toepasbaar en hadden een positieve mening over de toon en lengte.
• Experts: Beoordeelden de kwaliteit als goed (gemiddelde score ~4.0), met name de correctheid van de contextualisatie.
• Ontwikkelaars: De technische metrics waren sterk:
  • Faithfulness: 79% van de claims over gebruikersdata was consistent met de feiten.
  • Completeness: 97% van de claims had de relevante informatie opgehaald.
  • Hallucinaties: 22% van de contextualiserende stellingen kon niet strikt worden teruggeleid naar de kennisbron (vaak intuïtieve extrapolaties, geen schadelijke hallucinaties).

Divergentie (Verschil in perspectief)

Het QUORUM-kader blootte belangrijke verschillen op die in een eendimensionale evaluatie zouden zijn gemist:

• Toon: Experts vonden de toon soms te direct, neerbuigend of onsympathiek, terwijl gebruikers dit minder zwaar lieten wegen.
• Foutgevoeligheid: Gebruikers en experts waren minder sensitief voor fouten in patroonherkenning dan ontwikkelaars. Experts merkten op dat sommige adviezen te vaag waren (bijv. "luister naar je lichaam") en dat de taal soms te complex was (boven B1-niveau).
• Inhoudelijke diepgang: Experts wilden meer biomedische feiten zien (bijv. over immuunsysteem en vermoeidheid), terwijl het model vaak uitweken naar algemene tips om medisch advies te vermijden. Gebruikers merkten dit verschil niet op.

5. Bijdragen en Significatie

• Nieuw Evaluatiekader (QUORUM): Het paper introduceert een gestructureerd kader dat de "irreducibele" en complementaire perspectieven van gebruikers, experts en ontwikkelaars samenbrengt. Dit is cruciaal voor het bouwen van betrouwbare, patiëntgerichte NLP-systemen.
• Validatie van LLM's in de Zorg: Het toont aan dat een relatief eenvoudige RAG-pijplijn (COACH) in staat is om relevant, kwalitatief hoogstaand en betrouwbaar levensstijladvies te genereren voor een kwetsbare doelgroep.
• Praktische Inzichten: De studie benadrukt dat een systeem technisch perfect kan zijn (hoge faithfulness), maar toch weinig impact heeft als de toon niet past bij de gebruiker of als experts de inhoud als onvoldoende ervaren.
• Toekomstperspectief: Het framework helpt ontwikkelaars om iteratief te verbeteren door specifieke divergenties (zoals de behoefte aan meer biomedische context of een aangepaste toon) te identificeren voordat systemen in de breedte worden ingezet.

Conclusie:
De studie bevestigt dat multi-stakeholder evaluatie essentieel is voor het succes van AI in de gezondheidszorg. QUORUM biedt een manier om de "real-world impact" te meten, terwijl COACH bewijst dat LLM's, wanneer ze correct worden geïmplementeerd met RAG en strikte prompts, waardevolle bijdragen kunnen leveren aan de persoonlijke gezondheidszorg.