Examine Clinicians' Modification of Hedging Language in Ambient AI Documentation: A Comparative Study of AI Drafts and Final Notes
Deze studie analyseert 62.811 gekoppelde door AI gegenereerde concepten en door clinici bewerkte notities om aan te tonen dat clinici tijdens revisies systematisch meer voorzichtige taal introduceren en verschuiven naar een grotere onzekerheid, met significante variaties waargenomen tussen verschillende AI-leveranciers en klinische specialismen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een doktersbezoek voor als een gesprek dat wordt getranscribeerd door een zeer snelle, zeer slimme robot-scribe. Deze robot, een "Ambient AI", luistert naar het gesprek tussen de arts en de patiënt en schrijft direct een concept van de medische notitie. Echter, voordat deze notitie een officieel onderdeel wordt van het permanente dossier van de patiënt, moet de arts deze lezen en bewerken.
Deze studie is als een "zoek de verschillen"-spel. De onderzoekers keken naar duizenden van deze AI-concepten en de definitieve versies die artsen hebben goedgekeurd. Hun hoofdvraag was: Wanneer artsen de tekst van de robot bewerken, laten ze de notities dan zelfverzekerder klinken, of juist minder zelfverzekerd?
Hier is de uitslag van wat zij vonden, met gebruik van eenvoudige analogieën:
1. Het "Veiligheidsnet"-effect
In de geneeskunde gebruiken artsen vaak "afzwakkende" taal. Denk hierbij aan een linguïstisch veiligheidsnet. In plaats van te zeggen: "U heeft definitief de griep," kan een arts zeggen: "Het lijkt erop dat u de griep heeft," of "We kunnen de griep niet uitsluiten." Dit is niet omdat ze in de war zijn; het is omdat de geneeskunde zelden 10 de 100% zeker is, en deze woorden beschermen de arts tegen het ongelijk hebben als er later nieuwe informatie beschikbaar komt.
De studie toonde aan dat wanneer artsen de AI-concepten bewerkten, ze meer van deze veiligheidsnetten toevoegden.
- De analogie: Stel dat de AI een zin schreef als: "De patiënt heeft een gebroken been." De arts veranderde dit in: "De patiënt heeft waarschijnlijk een gebroken been."
- Het resultaat: Artsen waren veel eerder geneigd om woorden als "waarschijnlijk", "mogelijk" of "kan" toe te voegen aan de tekst van de AI dan om ze te verwijderen. Ze maakten de zelfverzekerde uitspraken van de AI voorzichtiger en medisch accurater.
2. De "Voorzichtige" Tendens
Toen de onderzoekers nauwkeurig naar de specifieke woorden keken die artsen vervingen, zagen ze een duidelijk paten.
- De analogie: Als de AI zei: "Dit is definitief een probleem," veranderde de arts dit vaak in: "Dit is mogelijk een probleem."
- Het resultaat: De bewerkingen stuurden de notities consequent richting grotere onzekerheid. Artsen probeerden de AI niet zelfverzekerder te laten klinken; ze probeerden de AI bescheidener en voorzichtiger te laten klinken.
3. Verschillende robots, verschillende concepten
De studie keek naar twee verschillende AI-bedrijven (Vendor A en Vendor B).
- De analogie: Denk aan twee verschillende chefs. Chef A schrijft misschien een recept dat voor 90% klopt, terwijl Chef B er een schrijft dat voor 85% klopt.
- Het resultaat: Beide chefs hadden de arts nodig om meer "misschien" en "waarschijnlijk" woorden aan hun recepten toe te voegen. Echter, de hoeveelheid bewerking die nodig was, varieerde enigszins tussen de twee. Eén AI-systeem vereiste iets meer "voorzichtigheid" in de concepten dan het andere, maar de algemene trend was hetzelfde: artsen zorgden ervoor dat beide systemen onzekerder klonken.
4. Verschillende specialismen, verschillende nuances
De onderzoekers controleerden ook of artsen in verschillende vakgebieden (zoals hartspecialisten versus huidartsen) anders bewerkten.
- De analogie: Een timmerman en een schilder kunnen beide een blauwdruk van een robot repareren, maar ze zullen wellicht andere onderdelen repareren.
- Het resultaat: Hoewel huisartsen en specialisten over het algemeen hetzelfde deden (het toevoegen van onzekerheid), varieerden de details enorm afhankelijk van het specialisme. Sommige medische velden gaan van nature meer gepaard met giswerk dan andere, waardoor hun notities eindigden met verschillende hoeveelheden "afzwakkende" taal.
De Kern van de zaak
De AI is geweldig in luisteren en typen, maar de neiging heeft om een beetje te zelfverzekerd te zijn in haar vermoedens. Artsen fungeren als de kwaliteitscontroleurs, die ingrijpen om de nodige "speling" en "misschien-woorden" toe te voegen, om ervoor te zorgen dat de notitie de rommelige, onzekere realiteit van de echte medische praktijk weerspiegelt. Ze corrigeren niet alleen typefouten; ze corrigeren het zelfvertrouwen van de notities, om ervoor te zorgen dat het definitieve dossier veilig, accuraat en eerlijk is over wat bekend is en wat nog een vermoeden is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.