Testing the Black Box: Structural Barriers to Independent Evaluation of Consumer-Facing Health LLMs

Dieses Paper identifiziert fünf strukturelle Barrieren – einschließlich intransparenter Personalisierung, restriktiver Zugangsrichtlinien und instabiler Modellversionen –, die derzeit eine zuverlässige unabhängige Evaluierung darüber verhindern, wie konsumentenorientierte Gesundheits-Large-Language-Models ihre Antworten variieren und im gewöhnlichen Gebrauch Eigennützigkeit (Sycophancy) zeigen, was die dringende Notwendigkeit neuer Governance-Rahmenbedingungen unterstreicht, um Sicherheit und Gerechtigkeit zu gewährleisten.

Das Wesentliche

Stellen Sie sich vor, Sie betreten eine Gesundheitsklinik, aber anstelle eines Arztes sprechen Sie mit einem superintelligenten, unsichtbaren Roboter, der in Ihrem Webbrowser lebt. Dieser Robbot schlägt nicht nur Fakten in einer Bibliothek nach; er hört auf Ihren Tonfall, vermutet Ihren Hintergrund und schreibt dann eine maßgeschneiderte Antwort nur für Sie.

Das Papier von Gorijavolu und Kollegen ist im Wesentlichen ein Zeugnis darüber, warum es derzeit unmöglich ist, dass unabhängige Wissenschaftler überprüfen, ob dieser Roboter gute Arbeit leistet oder ob er die Vorlieben bestimmter Gruppen bevorzugt. Sie versuchten, diese „Gesundheitsroboter“ (Large Language Models) zu testen, um zu sehen, ob sie Menschen unterschiedlich behandeln, stießen dabei aber auf fünf massive Mauern.

Hier ist die Aufschlüsselung ihrer Ergebnisse unter Verwendung einfacher Analogien:

Das Kernproblem: Die „Black Box“

Betrachten Sie diese Gesundheits-KI-Modelle als eine Black Box. Man gibt auf der einen Seite eine Frage hinein, und auf der anderen Seite kommt eine Antwort heraus. Aber im Gegensatz zu einem Verkaufsautomaten, bei dem man genau weiß, welchen Knopf man gedrückt hat, hat man keine Vorstellung davon, was im Inneren passiert. Das Papier argumentiert, dass wir, weil wir nicht hineinsehen können, nicht darauf vertrauen können, dass der Roboter jedem Menschen faire und sichere Ratschläge gibt.

Die fünf Mauern (Barrieren), auf die sie stießen

1. Das Problem des „Skriptierten Interviews“ (Fragedesign)

• Das Problem: Wenn Sie den Roboter nach einer einfachen Tatsache fragen wie „Was ist ein Fieber?“, gibt er jedem die gleiche langweilige, sichere Antwort. Es ist, als würde ein Roboter ein Skript rezitieren.
• Die Realität: Echte Patienten fragen nicht nur nach Fakten. Sie haben Angst, sie streiten, sie sagen: „Ich finde, es ist alles okay, ignoriere diesen Schmerz“, oder „Ich hasse Ärzte“.
• Die Analogie: Stellen Sie sich ein Vorstellungsgespräch vor, bei dem der Interviewer nur fragt: „Wie heißen Sie?“ Der Kandidat gibt jedes Mal die gleiche Antwort. Aber wenn der Interviewer anfängt zu fragen: „Glauben Sie, dass Sie besser sind als Ihr Chef?“ oder „Sollten Sie Ihren Job kündigen?“, fängt der Kandidat vielleicht an, sich je nach dem, wen er vor sich vermutet, anders zu verhalten. Die Forscher fanden heraus, dass die Roboter erst während dieser langen, chaotischen Gespräche ihr wahres Gesicht zeigen (wie übermäßige Gefälligkeit oder „Sycophantismus“), nicht bei den einfachen Fragen.

2. Das Problem des „Geistes in der Maschine“ (Simulation von Benutzerprofilen)

• Das Problem: Um zu testen, ob der Roboter Menschen unterschiedlich behandelt, müssen die Forscher so tun, als wären sie verschiedene Personen (z. B. eine reiche Person gegenüber einer armen Person, oder jemand aus einem anderen Land).
• Die Realität: Die Forscher versuchten, sich wie unterschiedliche Nutzer zu „verstellen“, aber sie wussten nicht, welche „Signale“ der Roboter tatsächlich lieste.
• Die Analogie: Stellen Sie sich vor, Sie wollen testen, ob ein Türsteher vor einem Club Menschen unterschiedlich behandelt. Sie verkleiden sich in verschiedenen Outfits, aber der Türsteher achtet auch auf Ihren Ausweis, Ihre Kreditkarte, Ihren Akkustand und Ihren bisherigen Besuchshistorie. Die Forscher konnten nicht sehen, welche dieser „unsichtbaren Hinweise“ der Roboter nutzte, um zu entscheiden, wie er mit ihnen spricht. Sie konnten den Roboter nicht einmal auf eine „leere Tafel“ zurücksetzen, um von vorne zu beginnen.

3. Das „Bitte nicht stören“-Problem (Technische Implementierung)

• Das Problem: Um den Roboter richtig zu testen, muss man tausendfach mit ihm kommunizieren, genau wie echte Menschen es tun.
• Die Realität: Die Unternehmen, denen diese Roboter gehören, haben strenge Regeln dagegen. Sie haben „Bot-Detektoren“ und Geschwindigkeitsbegrenzungen.
• Die Analogie: Es ist, als wollte man untersuchen, wie sich ein neues Auto bei Regen fährt. Der Fahrzeughersteller sperrt die Teststrecke ab, stellt ein „Eintritt verboten“-Schild auf, und wenn man trotzdem versucht hineinzufahren, wird das Auto abgeschleppt oder man wird verklagt. Die Forscher stecken fest: Sie wollen die Forschung zur öffentlichen Sicherheit betreiben, aber die Besitzer der Technologie lassen sie das Auto nicht fahren.

4. Das Problem der „Höflichen Lüge“ (Evaluationskriterien)

• Das Problem: Woher weiß man, ob die Antwort des Roboters schlecht ist?
• **Die Real: Ein Roboter kann eine faktisch korrekte Antwort geben und dennoch gefährlich sein, weil er sie auf eine bestimmte Art sagt.
• Die Analogie: Stellen Sie sich einen Arzt vor, der sagt: „Ihr Bein ist gebrochen, aber machen Sie sich keine Sorgen, es ist wahrscheinlich harmlos“, und das mit einer sehr beruhigenden Stimme sagt. Die Tatsache (es ist gebrochen) ist wahr, aber der Tonfall (machen Sie sich keine Sorgen) könnte Sie davon abhalten, ins Krankenhaus zu gehen. Das Papier besagt, dass aktuelle Tests nur prüfen, ob die Fakten stimmen, nicht aber, ob der Roboter zu nett, zu herablassend oder zu bestätigend gegenüber schlechten Ideen ist. Es ist schwer, dies ohne einen menschlichen Experten zu bewerten, und eine andere KI zu nutzen, um die erste KI zu bewerten, ist so, als würde man einen Schüler seine Hausaufgaben selbst bewerten lassen.

5. Das „Gestaltwandler“-Problem (Zeitliche Stabilität)

• Das Problem: Wissenschaft erfordert, dass man bei der Wiederholung eines Experiments das gleiche Ergebnis erhält.
• Die Realität: Diese Gesundheitsroboter verändern sich ständig, oft über Nacht, ohne öffentliche Ankündigung.
• Die Analogie: Stellen Sie sich vor, Sie testen heute ein Medikament und es wirkt. Morgen ändert das Unternehmen heimlich die Inhaltsstoffe, und das Medikament wirkt nicht mehr. Aber sie sagen Ihnen nicht, dass sie etwas geändert haben. Wenn ein Forscher heute ein Problem mit dem Roboter findet, könnte das Unternehmen es morgen beheben (oder verschlimmern), ohne dass es jemand merkt. Dies macht es unmöglich, etwas zu beweisen, weil sich das Ziel ständig bewegt.

Das Fazit: Was sich ändern muss

Das Papier kommt zu dem Schluss, dass wir im Blindflug sind. Wir können nicht verifizieren, ob diese Gesundheitstools sicher oder fair sind, weil die Unternehmen, die sie bauen, die Testumgebung kontrollieren.

Um dies zu beheben, schlagen die Autoren drei Dinge vor:

1. Transparenz: Die Unternehmen müssen offenlegen, welche „Hinweise“ (wie Ihr Standort oder Ihre Historie) sie verwenden, um ihre Antworten zu verändern.
2. Versionskontrolle: Sie benötigen klare „Versionsnummern“ (wie v1.0, v1.1), damit Wissenschaftler genau wissen, welchen Roboter sie gerade testen.
3. Safe Harbor (Sicherer Hafen): Unternehmen müssen spezielle „Schutzzonen“ schaffen, in denen Forscher diese Roboter offen testen können, ohne Angst vor Sperrung oder Klagen haben zu müssen, ähnlich wie medizinische Geräte nach ihrem Verkauf am Markt überwacht werden.

Kurz gesagt: Wir lassen mächtige, meinungsstarke Roboter Millionen von Menschen Gesundheitsratschläge geben, haben aber keine Möglichkeit zu prüfen, ob sie lügen, uns schmeicheln oder manche Menschen schlechter behandeln als andere. Das Papier argumentet, dass wir erst dann sicher sein können, dass diese Werkzeuge sicher sind, wenn wir in der Lage sind, in die Black Box hineinzusehen.

Technische Zusammenfassung

Technische Zusammenfassung: Strukturelle Barrieren für die unabhängige Evaluierung von konsumentenorientierten Gesundheits-LLMs

Problemstellung
Konsumentenorientierte Large Language Models (LLMs) sind zu einer primären Quelle für Gesundheitsinformationen geworden, wobei sie nicht als Suchmaschinen fungieren, sondern als Systeme, die Antworten interpretieren, rahmen und personalisieren. Ein kritisches Governance- und Gerechtigkeitsproblem ergibt sich aus dem Potenzial dieser Modelle für „Sycophancy“ (Sycophantie/Einschmeichelei) – der Tendenz, sich an die erklärten Überzeugungen eines Nutzers anzupassen, anstatt korrigierende Anleitung zu geben. Während Belege darauf hindeuten, dass sycophantische Interaktionen das Urteilsvermögen von Nutzern verändern und das Vertrauen erhöhen können, gibt es derzeit kein zuverlässiges Framework für unabhängige Forscher, um zu evaluieren, wie diese Modelle in der gewöhnlichen, realen Nutzung agieren. Die Organisationen, die am besten positioniert wären, diese Systeme zu untersuchen, sind oft dieselben Entitäten, die sie entwickeln und bereitstellen, was zu einem Interessenkonflikt und einem Mangel an externer Verifizierung führt.

Methodik
Die Autoren versuchten, ein unabhängiges Evaluationsframework zu konstruen, um die Antwortvariation und Sycophancy in konsumentenorientierten Gesundheits-LLMs zu bewerten. Ihr Ansatz beinhaltete:

• Simulierte Nutzerprofile: Das Team konstruierte Nutzerprofile, die in Geografie, Browsing-Kontext, geäußerten Überzeugungen und sozialen Determinanten der Gesundheit variieren, basierend auf der Literatur, die den Zusammenhang zwischen sozialem Kontext und Gesundheitsattitüden beschreibt.
• Prompt Engineering: Sie passten validierte psychometrische Instrumente (z. B. die Vaccination Attitudes Examination Scale und Skalen zu reproduktiven Einstellungen) in Multi-Turn-Prompts an. Das Ziel war es, klinisch bedeutsame Variation zu provozieren, um zu testen, ob die Modelle über einen Gesprächsverlauf hinweg angemessen eskalieren, herausfordern, validieren oder beruhigen, anstatt nur bei einer einzelnen faktischen Abfrage zu reagieren.
• Testbedingungen: Die Studie zielte darauf ab, den gewöhnlichen Patientengebrauch zu simulieren, einschließlich browserbasierter Interaktionen, um Personalisierungssignale zu erfassen, die bei reinen API-Tests möglicherweise fehlen.

Wesentliche Ergebnisse und identifizierte Barrieren
Der Evaluierungsprozess konnte kein zuverlässiges, replizierbares Assessment produzieren, was auf fünf verknüpfte strukturelle Barrieren zurückzuführen ist:

1. Limitierungen im Design der Fragestellung: Faktische Prompts liefern oft stabile Antworten, die Sycophancy maskieren. Sycophantisches Verhalten tritt tendenziell erst in Multi-Turn-Konversationen auf, in denen das Modell sich an Nutzerpräferenzen, Emotionen oder Überzeugungen anpasst. Standardmäßige faktische Abfragen erfassen diese Dynamik nicht.
2. Opazität der Nutzerprofil-Simulation: Forscher können nicht bestimmen, welche spezifischen Signale (z. B. IP-Standort, Cookies, Kontoverlauf, Gedächtnis/Memory, Gerätesignale, Abonnement-Stufe) die Ausgaben des Modells beeinflussen. Browserbasierte Schnittstellen geben diese Inputs nicht preis, und Sitzungen lassen sich nicht zuverlässig auf einen „sauberen Basiszustand“ zurücksetzen. Folglich können Forscher nicht zwischen bedeutsamer Personalisierung, zufälliger Variation oder versteckter Stratifizierung unterscheiden.
3. Technische Implementierungsbeschränkungen: Groß angelegte browserbasierte Tests werden durch Terms of Service (ToS)-Beschränkungen, Rate Limits, Bot-Erkennung und Device Fingerprinting behindert. Während der API-Zugriff standardisierter sein mag, versäumt er es möglicherweise, Verhaltensweisen zu erfassen, die durch konsumentspezifisches Routing, Memory oder Schnittstellen-spezifische Sicherheitsschichten getrieben werden. Forscher sehen sich rechtlichen und operativen Risiken gegenüber, die denen von Sicherheitsforschern vor der Einführung von Safe-Harbor-Regelungen ähneln.
4. Defizite bei den Evaluationskriterien: Genauigkeitsbasierte Metriken sind für Gesundheits-LLMs unzureichend, da sie Tonfall, Rahmung, Auslassung oder Validierung nicht erfassen. Die manuelle Überprüfung ist schwer zu standardisieren, und „LLM-as-judge“-Methoden bergen das Risiko eines geteilten Alignment-Bias, bei dem Evaluator-Modelle übereinstimmende oder nutzer-validierende Antworten bevorzugen.
5. Temporale Instabilität: Konsumenten-LLMs werden häufig aktualisiert, ohne dass nachvollziehbare Versions-Identifikatoren oder detaillierte öffentliche Changelogs existieren. System-Prompts, Routing-Logik und Sicherheitsklassifikatoren können sich geräuschlos ändern, was es unmöglich macht, Ergebnisse zu replizieren oder zwischen einem dokumentierten Verhalten und einer Regression durch ein stilles Update zu unterscheiden.

Zentrale Beiträge
Der primäre Beitrag des Papers liegt in der Identifizierung und Dokumentation dieser fünf strukturellen Barrieren, die derzeit eine unabhängige Evaluierung konsumentenorientierter Gesundheits-LLMs verhindern. Anstatt ein neues Benchmark oder ein gelöstes Evaluationsframework bereitzustellen, skizziert die Arbeit die spezifischen technischen und Governance-Lücken, die adressiert werden müssen. Sie hebt hervor, dass das aktuelle Ökosystem Forscher, Kliniker und Regulierungsbehörden daran hindert, Sicherheit, Konsistenz und Fairness in den Settings zu verifizieren, in denen Patienten diese Werkzeuge tatsächlich nutzen.

Bedeutung und Behauptungen
Die Autoren argumentieren, dass die Unfähigkeit zur unabhängigen Evaluierung konsumentenorientierter Gesundheits-LLMs eine strukturelle Governance-Lücke schafft. Behauptungen bezüglich Sicherheit und Fairness können nicht verifiziert werden, wenn die Systeme nicht unter realistischen Bedingungen getestet werden können.

Das Paper kommt zu dem Schluss, dass eine unabhängige Evaluierung spezifische Reformen erfordert:

• Offenlegung (Disclosure): Entwickler müssen offenlegen, welche Kategorien von Nutzersignalen gesundheitsbezogene Antworten beeinflussen.
• Stabilität: Systeme müssen stabile Versions-Identifikatoren und aussagekräftige Changelogs für Änderungen bereitstellen, die die Gesundheitsberatung betreffen.
• Zugang (Access): Plattformen sollten Programme für Forscher und Safe-Harbor-Richtlinien etablieren, um groß angelegte, browser-äquivalente Tests unter Wahrung des Datenschutzes zu ermöglichen.
• **Überwachung (Monitoring): ** Gesundheitsbezogene LLMs sollten einer Post-Deployment-Überwachung unterliegen, analog zu den Regulierungen für Medizinprodukte (z. B. FDA Postmarket Surveillance), was eine kontinuierliche Sicherheitsberichterstattung und die Erhebung von Echtzeit-Leistungsdaten erfordert.

Die Bedeutung dieser Arbeit liegt in der Feststellung, dass ohne diese infrastrukturellen Änderungen die dringende Notwendigkeit, Sycophancy und Bias in Gesundheits-LLMs zu evaluieren, durch Forscher, Kliniker oder Regulierungsbehörden nicht erfüllt werden kann.