Measuring AI Readiness in Health Professions Education: Development and Validation of the AI Competence and Preparedness Evaluation Resource (AICPER)

Stellen Sie sich vor, Sie versuchen, einer ganzen Schule voller angehender Ärzte, Pflegekräfte und Experten des öffentlichen Gesundheitswesens den Umgang mit einem neuen, superintelligenten Roboter-Assistenten beizubringen. Bevor Sie das perfekte Trainingshandbuch erstellen können, müssen Sie genau wissen, was die Studierenden über den Roboter denken. Lieben sie ihn? Haben sie Angst, dass er Fehler machen wird? Denken sie, es ist Betrug, wenn sie ihn für Hausaufgaben verwenden?

Lange Zeit waren die Werkzeuge, die verwendet wurden, um diese Fragen zu stellen, ein wenig so, als würde man ein Lineal benutzen, um die Temperatur zu messen – sie passten einfach nicht zur Aufgabe. Sie waren oft zu simpel, konzentrierten sich nur auf eine Art von Student oder wurden vor der Explosion der „generativen KI“ (der Art von KI, die Aufsätze schreibt und Bilder erstellt) verfasst.

Hier kommt der AICPER. Betrachten Sie dies als ein brandneues, hochmodernes „KI-Einstellungsthermometer“, das speziell für Studenten des Gesundheitswesens in den Vereinigten Staaten entwickelt wurde. Ein Team von Forschern der Rutgers University hat dieses Werkzeug entwickelt, um genau zu sehen, wie Studierende des Pflegewesens, der Pharmazie und des öffentlichen Gesundheitswesens über künstliche Intelligenz denken.

Die große Entdeckung: Es geht nicht um das Wo, sondern um das Wie

Als die Forscher den AICPER zuerst entwickelten, dachten sie, sie würden drei spezifische Einsatzorte messen, an denen KI verwendet wird: Klinische Praxis (im Krankenhaus), Forschung (im Labor) und Bildung (im Klassenzimmer). Sie erwarteten, dass sich die Antworten in diese drei ordentlichen Stapel sortieren würden.

Aber hier ist die Wendung: Die Gehirne der Studierenden sortierten die Antworten nicht so. Als die Forscher die Zahlen auswerteten, ordneten sich die „Stapel“ in drei völlig andere Kategorien um, die auf Gefühlen basieren statt auf Orten.

1. Funktionaler Nutzen (Der „Cooles Tool“-Faktor): Diese Gruppe misst, wie sehr die Studierenden glauben, dass die KI ihre Arbeit einfacher, schneller und intelligenter machen wird. Es ist wie die Frage: „Wird mir dieser Roboter helfen, schwere Kisten zu tragen?“
2. Ethik und Vertrauen (Der „Sorgen“-Faktor): Diese Gruppe erfasst die Ängste. Wird der Roboter Fehler machen? Ist er voreingenommen? Können wir ihm Patientengeheimnisse anvertrauen? Es ist der Stapel: „Wird dieser Roboter meinen Job stehlen oder mich anlügen?“
3. Bildliches Engagement (Der „Lass uns lernen“-Faktor): Dies misst das Engagement der Studierenden im Zusammenhang mit dem Lernen über KI. Es ist der Stapel: „Ich möchte einen Kurs darüber belegen.“

Die Studie ergab, dass diese neue dreiteilige Struktur ein viel besserer Weg ist, um Studierende zu verstehen, als nur zu fragen: „Magst du KI im Krankenhaus?“ Ein Student könnte denken, dass KI ein fantastisches Werkzeug ist, um Zeit zu sparen (Hoher Funktionaler Nutzen), aber gleichzeitig panische Angst vor den ethischen Risiken haben (Geringes Ethik- und Vertrauensniveau). Die alten Werkzeuge hätten diese Nuance übersehen, aber der AICPER fängt sie auf.

Wie sie es getestet haben (Der „Stresstest“)

Um sicherzustellen, dass dieses neue Thermometer tatsächlich funktionierte, haben die Forscher es nicht nur geraten. Sie unterzogen es einem strengen Stresstest mit 193 Studierenden und 7 Expertenrichtern.

• Die Experten: Sieben kluge Köpfe mit fortgeschrittenen akademischen Graden überprüften jede einzelne Frage, um sicherzustellen, dass sie Sinn ergab. Sie stimmten überein, dass die Fragen relevant waren, was dem Werkzeug einen Score für die „Inhaltsvalidität“ von 0,86 gab (was ein sehr guter Wert ist).
• Die Studierenden: 193 Studierende aus den Programmen Pflege, Pharmazie und öffentliches Gesundheitswesen nahmen an der Umfrage teil.
• Die Mathematik: Die Forscher verwendeten anspruchsvolle Statistiken (wie „Explorative Faktorenanalyse“ und „Konfirmatorische Faktorenanalyse“), um zu sehen, ob die Fragen sinnvoll zusammenpassten. Das Ergebnis? Das Werkzeug hielt dem stand. Der Wert für die interne Konsistenz lag bei 0,86, was bedeutet, dass die Fragen zuverlässig dieselben zugrunde liegenden Gefühle messen.

Was die Zahlen sagen

Die Studie sagte nicht nur „es funktioniert“. Sie lieferte spezifische Zahlen, um das zu belegen:

• Das fertige Werkzeug umfasst 18 Fragen (zwei wurden gestrichen, da sie nicht gut passten).
• Die drei Faktoren (Funktionaler Nutzen, Ethik und Engagement) sind unterscheidbar, aber verwandt, mit Korrelationen zwischen 0,42 und 0,61.
• Das Werkzeug funktioniert auf die gleiche Weise für Studierende der Pflege, Pharmazie und des öffentlichen Gesundheitswesens. Die Forscher prüften dies durch den Vergleich der Gruppen und fanden heraus, dass der Unterschied darin, wie das Werkzeug sie maß, winzig war (-0,001), was bedeutet, dass eine Pflegekraft und ein Apotheker die Fragen in derselben „Sprache“ beantworten.

Was es NICHT ist (Die „Nein“-Liste)

Es ist wichtig zu wissen, was dieses Paper nicht behauptet.

• Es ist kein Zauberstab: Das Paper stellt explizit fest, dass dies für einige Teile ein „vorläufiger“ Schritt ist. Sie nutzten dieselbe Gruppe von Studierenden sowohl, um die Struktur zu entdecken als auch um sie zu bestätigen. Obwohl sie fortgeschrittene Mathematik (Bootstrap-Resampling mit 2.000 Wiederholungen) verwendeten, um zu beweisen, dass die Ergebnisse stabil waren, geben sie zu, dass das Testen an einer anderen Gruppe von Studierenden der nächste notwendige Schritt ist.
• Es ist noch nicht perfekt: Den Forschern fiel auf, dass einige der „umgekehrt skalierten“ Fragen (die, bei denen man „Nein“ denken muss, um „Ja“ zu meinen) ein wenig zusätzliches Rauschen in die Daten brachten. Etwa 24,8 % der Variation in diesen spezifischen Antworten waren auf die Art der Fragestellung zurückzuführen, nicht nur auf die Meinung der Studierenden. Sie schlagen vor, zukünftige Versionen klarer zu formulieren.
• Es ist noch nicht für jeden (noch nicht): Die Studie umfasste nur Studierende der Pflege, Pharmazie und des öffentlichen Gesundheitswesens. Sie beinhaltete keine Medizinstudierenden (angehende Ärzte), daher können wir noch nicht sicher sein, ob es auch für sie funktioniert.

Das Fazente

Der AICPER ist ein streng getestetes, 18-teiliges Werkzeug, das erfolgreich misst, wie Studierende des Gesundheitswesens über KI denken. Es hat bewiesen, dass die Einstellungen der Studierenden nicht nur davon abhängen, „wo“ sie KI nutzen, sondern von drei Kerngefühlen: Nützlichkeit, Vertrauen und Engagement.

Die Forscher schlagen vor, dass Schulleiter dieses Werkzeug nutzen können, um genau herauszufinden, wo ihre Studierenden feststecken. Wenn ein Kurs zwar großartig darin ist, die Vorteile zu sehen, aber Angst vor der Ethik hat, können sie eine spezifische Lektion aufbauen, um diese Angst zu bekämpfen. Wenn sie ethisch einwandfrei sind, aber die Technik nicht lernen wollen, können sie einen anderen Lehransatz versuchen.

Obwohl das Paper nicht über das Ziel hinausschießt und es nicht als „finale Lösung“ bezeichnet (da noch mehr Tests erforderlich sind), bietet es die erste solide, validierte Landkarte zur Navigation durch die komplexe Welt der KI-Bereitschaft in der Gesundheitsausbildung. Es verwandelt ein nebliges Raten in ein klares, dreidimensionales Bild.