Technische Samenvatting: Een Multi-Agent LLM Framework voor het Beoordelen van de Kwaliteit van Chirurgische Feedback

Probleemstelling

Mondelinge feedback van voorschrijvende chirurgen aan opleidingschirurgen in de operatiekamer (OK) is cruciaal voor vaardigheidsverwerving en chirurgische uitkomsten. Het systematisch beoordelen van de kwaliteit van deze feedback—specifiek hoe deze wordt gegeven en niet alleen de inhoud—blijft echter een aanzienlijke uitdaging. Eerdere onderzoek heeft zich grotendeels gericht op het categoriseren van de inhoud van feedback (bijvoorbeeld anatomische verwijzingen, instrumentbehandeling) met behulp van handmatige annotatie of geautomatiseerde methoden zoals trefwoordanalyse en topic modeling. Deze bestaande benaderingen slagen er niet in om genuanceerde leveringsaspecten zoals helderheid, urgentie, tijdigheid en emotionele toon vast te leggen, die essentieel zijn voor het begrijpen van de effectiviteit van feedback. Bovendien is handmatige annotatie arbeidsintensief en niet schaalbaar, terwijl bestaande geautomatiseerde methoden ontberen aan de gevoeligheid voor klinische taal en het vermogen om onderscheid te maken tussen identieke instructieve taken die met verschillende tonen of urgenties worden gegeven.

Methodologie

De auteurs stellen een tweestaps, op Large Language Model (LLM)-gebaseerd framework voor dat is ontworpen om interpreteerbare kwaliteitscriteria voor feedback te ontdekken en chirurgische feedback automatisch te scoren. De pijplijn integreert multi-agent prompting, injectie van domeinkennis en een "LLM-as-a-judge"-benadering.

1. Fase van Criteriaontdekking

Het ontdekkingsproces maakt gebruik van een multi-agent strategie om evaluatiecriteria te genereren en te consolideren:

• Domein-gestuurde Initiëring: GPT-4o-agenten worden gestart met formele definities van uitkomsten van chirurgische feedback (Gedragsaanpassing, Verbaal Acknowledgment, Goedkeuring van de Trainer) en een definitie van feedback zelf. Ze krijgen een kleine subset van niet-gelabelde feedbackvoorbeelden (<1% van de dataset) om via analogisch redeneren relevante evaluatieve dimensies af te leiden.
• Multi-Agent Generatie: Vijf onafhankelijke GPT-4o-agenten, geconfigureerd met een hoge sampling-temperatuur ($T=1.0$) om diversiteit te stimuleren, stellen onafhankelijk kandidaat-kwaliteitsdimensies voor. Elke agent krijgt de taak abstracte, generaliseerbare criteria te definiëren die op een 5-punts Behaviorally Anchored Rating Scale (BARS) kunnen worden gescoord, uitsluitend gebaseerd op één getranscribeerde feedbackzin.
• Consolidatie van Criteria: De kandidaat-criteria van alle agenten worden toegepast op de volledige dataset. Een hiërarchisch clustering-algoritme (single linkage, Euclidische afstand) groepeert semantisch vergelijkbare criteria. Het optimale aantal clusters ($k=6$) wordt bepaald via de silhouette-coëfficiënt. Een laatste GPT-4o-instantie (in deterministische modus, $T=0.0$) synthetiseert een uniforme definitie en BARS-ankers voor elke cluster, waarbij reproduceerbaarheid en geen overlapping worden gewaarborgd.

2. Consolidatie en Validatie van Criteria

Het proces leverde zes interpreteerbare kwaliteitsdimensies voor feedback op:

1. Aanmoedigend: Een ondersteunende toon die het vertrouwen versterkt.
2. Urgent: Communicatie die aangeeft dat onmiddellijk handelen vereist is.
3. Hanteerbaar: Duidelijke, specifieke stappen die de opleidingschirurg kan implementeren.
4. Tijdig: Feedback gegeven tijdens of direct na de actie.
5. Helder: Rechttoe-rechtaan, eenduidige boodschap.
6. Reflectief: Uitnodigingen tot zelfevaluatie of dieper inzicht.

3. Geautomatiseerde Scoring en Evaluatie

• LLM-as-a-Judge: De definitieve rubriek met zes dimensies wordt gebruikt om 4.210 live chirurgische feedbackinstanties te scoren met GPT-4o. Het model wijst scores van 1 tot 5 toe voor elke dimensie.
• Voorspellende Modellering: De auteurs evalueerden het vermogen van deze door AI afgeleide scores om vier gedragsuitkomsten te voorspellen: Gedragsverandering van de Opleidingschirurg, Verbaal Antwoord van de Opleidingschirurg, Goedkeuring van de Trainer en Afkeuring van de Trainer. Ze vergeleken hun model met eerdere topic modeling-benaderingen en handmatig geannoteerde menselijke categorieën met behulp van Random Forest-classificatoren met vijf-voudige gestratificeerde cross-validatie.
• Mens-AI Afstemming: Twee menselijke beoordelaars met domeinkennis scoorden een subset van 30 instanties met de door AI ontdekte rubriek. De inter-beoordelaarsbetrouwbaarheid werd beoordeeld met Quadratic Weighted Kappa ($\kappa$) om de overeenstemming tussen mensen, tussen AI-runnen en tussen mensen en AI te meten.

Belangrijkste Resultaten

Voorspellende Prestaties

De door AI ontdekte kwaliteitscriteria vertoonden superieure voorspellende kracht in vergelijking met eerdere methoden:

• Standalone Prestaties: Met uitsluitend de zes kwaliteitsscores behaalde het model AUROC-scores van 0,75 voor Gedragsverandering van de Opleidingschirurg, 0,71 voor Verbaal Antwoord, 0,66 voor Goedkeuring van de Trainer en 0,60 voor Afkeuring van de Trainer.
• Vergelijkende Verbetering: Wanneer gecombineerd met eerdere topic modeling-kenmerken, verbeterden de AI-scores de voorspelling van Gedragsverandering van de Opleidingschirurg met 12% (AUROC 0,77) en Afkeuring van de Trainer met 11% (AUROC 0,63). Wanneer gecombineerd met eerdere menselijk gedefinieerde categorieën, varieerden de verbeteringen van 3% tot 12% voor alle uitkomsten.
• Statistische Significantie: De test van DeLong bevestigde dat het toevoegen van door AI afgeleide kwaliteitsscores resulteerde in statistisch significante verbeteringen ($p < 0,05$) ten opzichte van zowel topic modeling als menselijk gedefinieerde categorieën voor de meeste uitkomsten.

Mens-AI Afstemming

• Consistentie: AI-runnen toonden een bijna perfecte interne consistentie ($\kappa = 0,92–1,00$).
• Afstemming: De mens-AI-overeenstemming was substantieel ($\kappa = 0,60–0,79$) voor vijf van de zes criteria (Aanmoediging, Urgentie, Hanteerbaarheid, Helderheid, Reflectie), waarbij de niveaus van mens-mens overeenstemming werden benaderd. De overeenstemming was lager voor "Tijdigheid" ($\kappa = 0,54$), wat de inherente moeilijkheid weerspiegelt bij het beoordelen van temporele aspecten.

Associatie met Uitkomsten

Analyse van de relatie tussen specifieke kwaliteitsdimensies en uitkomsten onthulde duidelijke patronen:

• Gedragsaanpassing: Sterk geassocieerd met Hanteerbare (RR=1,22), Tijdige (RR=1,24) en Urgente (RR=1,11) feedback. Omgekeerd waren Aanmoedigende en Reflectieve feedback geassocieerd met verminderde gedragsaanpassing, waarschijnlijk omdat ze correct gedrag bevestigen of langetermijninzicht stimuleren in plaats van onmiddellijke correctie.
• Verbaal Acknowledgment: Sterk geassocieerd met Reflectieve (RR=1,34) en Heldere (RR=1,13) feedback. Aanmoedigende en Tijdige feedback waren geassocieerd met verminderd verbaal acknowledgment.

Betekenis en Claims

Het artikel claimt het veld van chirurgisch onderwijs en communicatieanalyse op verschillende manieren te bevorderen:

1. Nieuw Ontdekkingsmechanisme: In tegenstelling tot eerdere werken die vertrouwen op vooraf gedefinieerde taxonomieën of onbewaakte clustering, gebruikt dit framework een tweestaps, LLM-gestuurde strategie om nieuwe, voor mensen interpreteerbare scoringcriteria te ontdekken die zijn verankerd in real-world klinische interacties.
2. Schaalbaarheid en Interpreteerbaarheid: Het framework biedt een schaalbare, geautomatiseerde methode voor het beoordelen van de kwaliteit van feedbacklevering zonder de noodzaak van uitgebreide handmatige annotatie. Het gebruik van BARS zorgt ervoor dat de criteria interpreteerbaar zijn voor zowel mensen als machines.
3. Klinische Relevantie: De ontdekte dimensies zijn niet louter taalkundige kenmerken, maar zijn gedragsmatig onderbouwd en tonen statistisch significante associaties met gedragsaanpassingen van opleidingschirurgen en reacties van trainers.
4. Praktische Toepassing: De auteurs stellen dat dit framework de basis kan vormen voor dashboards bij de zorg, longitudinale curriculum-analyse en geautomatiseerde kwaliteitsborgingsaudits. Het biedt een weg om de effectiviteit van intraoperatief onderwijs te verbeteren en ondersteunt de ontwikkeling van trainers.
5. Generaliseerbaarheid: Hoewel ontwikkeld voor de operatiekamer, suggereren de auteurs dat de pijplijn kan worden gegeneraliseerd naar andere klinische settings die vertrouwen op mondelinge begeleiding (bijvoorbeeld IC-rondes, telemedicine), mits de invoer tekstgebaseerd is.

De auteurs houden een bescheiden standpunt ten aanzien van beperkingen, waarbij zij erkennen dat de analyse uitsluitend op tekst is gebaseerd (exclusief prosodische of visuele aanwijzingen), dat de evaluatie retrospectief was en dat de ontdekking van de rubriek afhankelijk was van een propriëtaire model (GPT-4o), hoewel zij de definitieve rubriek hebben gepubliceerd om herimplementatie met open-source modellen mogelijk te maken.