Prompt Sensitivity and Answer Consistency of Small Open-Source Large Language Models on Clinical Question Answering: Implications for Low-Resource Healthcare Deployment

Die Studie zeigt, dass kleine Open-Source-Sprachmodelle für den klinischen Einsatz in ressourcenarmen Umgebungen zwar konsistente, aber nicht unbedingt korrekte Antworten liefern, wobei Llama 3.2 aufgrund des besten Gleichgewichts aus Genauigkeit und Zuverlässigkeit als vielversprechendste Option hervorgeht.

Das Wesentliche

🩺 Wenn kleine KI-Ärzte im Dorf ankommen: Eine Studie über Zuverlässigkeit

Stell dir vor, du lebst in einer abgelegenen Gegend, weit weg von großen Städten. Dort gibt es keine schnellen Internetverbindungen und keine teuren Supercomputer. Aber die Menschen brauchen medizinische Hilfe. Was tun?

Forscher haben eine Idee: Wir nutzen kleine, offene Künstliche Intelligenzen (KI), die auf ganz normalen Computern laufen können – ohne Cloud, ohne Internet. Das ist toll für arme oder abgelegene Regionen. Aber es gibt ein Problem: Wie sehr können wir diesen kleinen KIs trauen?

Diese Studie untersucht genau das. Sie fragt: „Wenn wir dieselbe medizinische Frage auf fünf verschiedene Arten stellen, gibt die KI immer die gleiche Antwort? Und ist diese Antwort dann auch richtig?"

🎭 Die fünf Fragen-Arten (Der „Prompt"-Test)

Die Forscher haben fünf verschiedene Wege ausgedacht, um dieselbe medizinische Frage an die KI zu stellen, ähnlich wie man jemandem dasselbe Ding auf fünf verschiedene Arten erklären könnte:

1. Original: Die Frage genau so, wie sie in einem Lehrbuch steht.
2. Formell: Wie ein Professor sie stellen würde (sehr akademisch).
3. Einfach: Wie ein Patient sie stellen würde (in einfacher Sprache).
4. Rolle spielen (Roleplay): „Du bist ein erfahrener Arzt, antworte mir!"
5. Direkt: Nur die Frage, ohne Schnickschnack.

Sie haben das mit fünf verschiedenen kleinen KI-Modellen gemacht (die so etwas wie „kleine Gehirne" sind) und geprüft, ob sie bei allen fünf Versionen gleich antworten.

🔍 Die vier wichtigsten Entdeckungen

Hier sind die Ergebnisse, übersetzt in einfache Bilder:

1. Beständigkeit ist nicht dasselbe wie Richtigkeit

Stell dir vor, du hast einen Freund, der immer die gleiche Antwort gibt, egal wie du ihn fragst. Das klingt erst mal super zuverlässig, oder?
Aber was, wenn er immer die falsche Antwort gibt?

Das ist genau das Problem mit einem der getesteten Modelle (namens Gemma 2). Es war extrem beständig: Es gab bei fast jeder Frageformulierung exakt dieselbe Antwort. Aber diese Antwort war oft falsch.

• Die Metapher: Es ist wie ein Kompass, der immer genau nach Norden zeigt. Das ist sehr stabil und beständig. Aber wenn du dich in der Südhalbkugel befindest, führt dich dieser Kompass in die falsche Richtung – und zwar mit absoluter Sicherheit.
• Das Fazit: Eine KI, die sich immer gleich verhält, ist nicht automatisch sicher. Sie kann „zuverlässig falsch" sein. Das ist im medizinischen Bereich extrem gefährlich.

2. Das „Rolle spielen"-Gespenst

Die Forscher haben versucht, den KIs eine Maske aufzusetzen. Sie sagten: „Du bist jetzt ein Arzt!"
Das Ergebnis? Das ging in die Hose.
Sobald die KI gebeten wurde, eine Rolle zu spielen (z. B. „Du bist ein Senior-Arzt"), wurden ihre Antworten schlechter.

• Die Metapher: Stell dir vor, du fragst einen Mathematiker nach einer Lösung. Wenn du sagst: „Rechnen Sie das aus", macht er es gut. Wenn du aber sagst: „Tun Sie so, als wären Sie ein berühmter Mathematiker in einem Film, und lösen Sie das", verliert er vielleicht den Fokus auf die reine Mathematik und fängt an, Theater zu spielen.
• Das Fazit: Für medizinische Fragen sollte man die KI nicht verkleiden. Einfach und direkt fragen funktioniert am besten.

3. Größe ist nicht alles

Man könnte denken: „Je größer das Gehirn (mehr Parameter), desto besser."
Aber das stimmt hier nicht ganz. Das größte getestete Modell (Mistral 7B) war nicht unbedingt besser als die kleineren. Und ein Modell, das speziell für Medizin trainiert wurde (Meditron), war ein totaler Flop, wenn es darum ging, Anweisungen zu befolgen.

• Die Metapher: Stell dir einen riesigen Bibliothekar vor (Meditron), der jede medizinische Buch der Welt auswendig kennt. Aber er hat nie gelernt, wie man eine Frage beantwortet. Wenn du ihn fragst: „Gib mir die Antwort in einem Satz", starrt er dich nur an oder schreit zufällige Buchtitel. Er hat das Wissen, aber er versteht die Aufgabe nicht.
• Das Fazit: Nur weil eine KI viel medizinisches Wissen hat, heißt das nicht, dass sie auch weiß, wie man eine Frage korrekt beantwortet. Sie muss auch „höflich" und gehorsam sein (Anweisungen folgen können).

4. Der Gewinner für arme Regionen

Welches Modell war also am besten für den Einsatz in abgelegenen Gebieten geeignet?
Es war Llama 3.2.
Es war nicht das stabilste (es gab manchmal leicht unterschiedliche Antworten), aber es war das korrekteste. Es antwortete oft richtig und verstand die Anweisungen gut.

• Die Metapher: Ein etwas nervöser, aber sehr kluger Arzt, der manchmal zögert, aber selten einen tödlichen Fehler macht, ist besser als ein selbstsicherer Arzt, der sich zu 100% sicher ist, aber immer falsch liegt.

💡 Was bedeutet das für die Zukunft?

Diese Studie sagt uns etwas Wichtiges über den Einsatz von KI in der Medizin:

1. Nicht nur auf die „Stabilität" schauen: Wenn eine KI immer dieselbe Antwort gibt, heißt das nicht, dass sie recht hat. Wir müssen prüfen, ob sie auch richtig liegt.
2. Kein Theater: Lass die KI keine Rollen spielen. Frag sie direkt.
3. Wissen reicht nicht: Eine KI muss nicht nur Wissen haben, sondern auch lernen, wie man Aufgaben erledigt (Anweisungen befolgen).
4. Der beste Kompromiss: Für kleine Computer in abgelegenen Gebieten ist ein Modell wie Llama 3.2 aktuell die beste Wahl, weil es einen guten Mix aus Richtigkeit und Zuverlässigkeit bietet.

Kurz gesagt: Wir müssen vorsichtig sein. Eine KI, die sich sicher und beständig gibt, ist nicht automatisch ein guter Arzt. Wir brauchen Systeme, die nicht nur stabil, sondern auch klug und korrekt sind.

Technische Zusammenfassung

Titel: Prompt-Sensitivität und Antwortkonsistenz kleiner Open-Source-LLMs bei klinischen Fragen: Implikationen für den Einsatz in ressourcenarmen Gesundheitssystemen

1. Problemstellung

Künstliche Intelligenz wird zunehmend in klinische Workflows integriert. Während große, cloudbasierte Modelle viel Aufmerksamkeit erhalten, gewinnen kleine Open-Source-Sprachmodelle (SLMs, 2–7 Milliarden Parameter) an Bedeutung für ressourcenarme Umgebungen (z. B. ländliche Kliniken), in denen keine GPU-Infrastruktur oder Cloud-Anbindung verfügbar ist.
Das zentrale Problem dieser Studie ist die Zuverlässigkeit dieser Modelle. Bisherige Evaluierungen konzentrierten sich fast ausschließlich auf die Genauigkeit (Accuracy), also ob die richtige Antwort gewählt wurde. Es fehlt jedoch ein systematisches Verständnis der Stabilität der Ausgaben: Ändert sich die Antwort eines Modells, wenn dieselbe klinische Frage anders formuliert wird (Prompt-Sensitivität)? In sicherheitskritischen Bereichen wie der Medizin ist ein Modell, das bei kleinen Änderungen der Eingabe inkonsistente oder zufällige Antworten liefert, unzuverlässig, selbst wenn es im Durchschnitt eine hohe Genauigkeit aufweist. Zudem ist unklar, ob hohe Konsistenz auch korrekte Antworten bedeutet oder ob Modelle „zuverlässig falsch" sein können.

2. Methodik

Die Studie evaluierte fünf Open-Source-Modelle auf drei etablierten Benchmarks für klinische Fragenbeantwortung (MedQA, MedMCQA, PubMedQA).

• Modelle:
  • Allgemeine Instruktionstuned-Modelle: Phi-3 Mini (3.8B), Llama 3.2 (3B), Gemma 2 (2B), Mistral 7B (7B).
  • Domänenspezifisches Modell: Meditron-7B (basierend auf Llama-2, auf medizinischen Korpora vortrainiert, aber ohne Instruktionstuning).
• Experimentelles Design:
  • Datensätze: Je 200 zufällig ausgewählte Fragen aus MedQA (USMLE), MedMCQA (indische Zulassungsprüfungen) und PubMedQA (Forschungsfragen). Insgesamt 600 Fragen.
  • Prompt-Variation: Für jede Frage wurden fünf semantisch äquivalente, aber stilistisch unterschiedliche Prompt-Varianten generiert:
    1. Original: Wie im Datensatz.
    2. Formal: Akademisch-klinische Sprache.
    3. Vereinfacht: Einfache Alltagssprache (Patientenperspektive).
    4. Rollenplay: Das Modell soll als praktizierender Arzt antworten.
    5. Direkt: Nur die Frage und Antwortoptionen ohne Rahmen.
  • Hardware & Setup: Alle Experimente wurden lokal auf Consumer-CPU-Hardware durchgeführt (keine GPUs), ohne Feinabstimmung (Fine-Tuning) der Modelle, um reale Einsatzbedingungen in ressourcenarmen Settings zu simulieren. Die Temperatur wurde auf 0 gesetzt, um deterministische Ausgaben zu gewährleisten.
• Evaluationsmetriken:
  • Konsistenz-Score: Anteil der Prompt-Varianten, die die Mehrheitsantwort (Majority Answer) liefern.
  • Gesamtgenauigkeit (Overall Accuracy): Vergleich der Mehrheitsantwort mit dem Ground-Truth-Label.
  • Per-Style-Accuracy: Genauigkeit pro Prompt-Typ.
  • UNKNOWN-Rate: Anteil der Antworten, die keine gültige Antwortoption (A-D oder Yes/No/Maybe) enthalten (Instruktionsverfehlungen).

3. Wichtige Beiträge

• Entkopplung von Konsistenz und Genauigkeit: Die Studie zeigt erstmals systematisch, dass hohe Konsistenz nicht zwingend hohe Genauigkeit bedeutet. Modelle können konsistent falsche Antworten liefern.
• Nachweis der Gefahr von „Rollenplay"-Prompts: Es wird empirisch belegt, dass Rollenspiel-Prompts („Du bist ein Arzt") die Genauigkeit über alle Modelle hinweg signifikant verschlechtern.
• Unterscheidung von Domänenwissen und Instruktionsbefolgung: Durch den Vergleich von Meditron-7B wird gezeigt, dass reines medizinisches Vorwissen ohne Instruktionstuning für strukturierte Aufgaben unzureichend ist.
• Evaluierungsrahmen für ressourcenarme Settings: Einführung eines multidimensionalen Bewertungsrahmens (Konsistenz + Genauigkeit + Instruktionsbefolgung), der auf Consumer-Hardware ohne Cloud-Abhängigkeit reproduzierbar ist.

4. Ergebnisse

• Konsistenz vs. Genauigkeit: Es besteht keine positive Korrelation zwischen Konsistenz und Genauigkeit.
  • Gemma 2 erreichte die höchste Konsistenz (0,845–0,888), aber die niedrigste Genauigkeit (33,0–43,5 %). Dies ist ein Paradebeispiel für „zuverlässige Falschheit": Das Modell liefert bei jeder Umformulierung denselben falschen Antwort.
  • Llama 3.2 zeigte eine moderate Konsistenz (0,774–0,807), aber die höchste Genauigkeit (49,0–65,0 %).
• Einfluss der Prompt-Style:
  • Der Rollenplay-Style führte konsistent zu den schlechtesten Ergebnissen. Bei Phi-3 Mini auf MedQA sank die Genauigkeit um 21,5 Prozentpunkte im Vergleich zur besten Variante.
  • Direkte und Original-Prompts erzielten die stabilsten Ergebnisse.
• Instruktionsbefolgung (UNKNOWN-Rate):
  • Die Rate fehlgeschlagener Antworten variierte stark und war nicht vom Parameterumfang abhängig.
  • Phi-3 Mini hatte auf MedQA eine hohe UNKNOWN-Rate (10,5 %).
  • Meditron-7B zeigte ein katastrophales Versagen auf PubMedQA mit einer UNKNOWN-Rate von 99,0 %. Obwohl es medizinisches Wissen besitzt, konnte es ohne Instruktionstuning keine strukturierten Ja/Nein/Maybe-Antworten generieren.
• Modellvergleich: Llama 3.2 (3B) bot das beste Gleichgewicht aus Genauigkeit, moderater Konsistenz und niedriger UNKNOWN-Rate und ist somit für den Einsatz in ressourcenarmen Umgebungen am besten geeignet.

5. Bedeutung und Implikationen

• Sicherheitsrisiko: Die Entdeckung, dass Modelle „zuverlässig falsch" sein können, ist kritisch für die klinische Entscheidungsunterstützung. Ein konsistentes falsches Ergebnis kann Ärzte eher täuschen als ein inkonsistentes, da es den Anschein von Zuverlässigkeit erweckt.
• Prompt-Engineering: Für klinische KI-Anwendungen sollten Rollenspiel-Prompts vermieden werden, da sie die faktische Zuverlässigkeit kleiner Modelle systematisch untergraben.
• Modellauswahl: In ressourcenarmen Umgebungen sollte nicht nur auf die Modellgröße oder das Vorwissen geachtet werden. Die Fähigkeit zur Instruktionsbefolgung ist eine Voraussetzung für den praktischen Einsatz. Ein Modell wie Meditron-7B ist ohne Instruktionstuning klinisch unbrauchbar, trotz seines medizinischen Trainings.
• Zukünftige Richtungen: Die Studie fordert multidimensionale Evaluierungsframeworks, die Genauigkeit, Konsistenz und Instruktionsbefolgung gemeinsam betrachten. Zudem wird die Notwendigkeit von Feinabstimmung (Fine-Tuning) und Retrieval-Augmented Generation (RAG) für kleine Modelle betont, um die Stabilität und Richtigkeit zu verbessern.

Fazit: Die Studie warnt davor, Konsistenz als alleiniges Maß für die Sicherheit von KI im Gesundheitswesen zu betrachten. Für den sicheren Einsatz in ressourcenarmen Settings ist Llama 3.2 derzeit die vielversprechendste Wahl, während Rollenspiel-Prompts strikt vermieden werden sollten.