Beyond Endpoint Agreement: Trajectory Integrity, Criterion Recovery, and Retrospective Self-Audit in Nine Language-Model Systems Under Simulated ICU Triage
Diese Studie zeigt, dass die Bewertung großer Sprachmodelle ausschließlich auf der Übereinstimmung des Endpunkts unzureichend für Hochrisikoszenarien wie die Triage auf der Intensivstation ist, da eine multidimensionale Analyse von neun Systemen signifikante Inkonsistenzen in deren Fähigkeit offenbarte, steuernde Kriterien, faktische Zustände und retrospektive Treue über simulierte Interaktionstrajektorien hinweg wiederherzustellen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der sich rasant entwickelnden Welt der künstlichen Intelligenz ist eine gängige Methode, ein Computerprogramm zu beurteilen, darin bestehend, ihm eine Frage zu stellen und die Antwort zu bewerten, die es gibt. Wenn die Antwort korrekt ist, erhält das System eine bestandene Note. Diese Methode funktioniert gut für einfache Aufgaben, wie etwa das Lösen eines mathematischen Problems oder das Identifizieren eines Bildes. Wenn diese Systeme jedoch für komplexe, hochsensiblen Entscheidungen eingesetzt werden – wie etwa bei der Entscheidung, welcher Patient ein knappes Krankenhausbett erhält – wird die Geschichte komplizierter. Ein System könnte zu Beginn eines Gesprächs dieselbe endgültige Antwort geben wie am Ende, doch die Gründe, die es für diese Antwort angibt, könnten sich dazwischen vollkommen verändert haben. Es könnte damit beginnen, einen Patienten basierend auf der medizinischen Notwendigkeit zu priorisieren, dann seine Begründung ändern, um einen anderen Patienten aufgrund von Druck durch die Krankenhausleitung zu bevorzugen, und schließlich zur ursprünglichen Wahl zurückkehren, ohne den Wechsel zuzugeben. Die Gefahr liegt in der Annahme, dass eine konsistente Endantwort bedeutet, dass das System in seinem Denken, seinen Fakten und seiner Ehrlichkeit darüber, was passiert ist, konsistent geblieben ist.
Um diese verborgene Ebene der Konsistenz zu untersuchen, führte ein Forscher namens Evans Tovar eine detaillierte Simulation durch, die neun verschiedene Large Language Models beinhaltete. Dies sind fortschrittliche Computerprogramme, die Gespräche führen und Texte generieren können. Die Studie versuchte nicht zu bestimmen, welcher Patient in einem realen medizinischen Sinne das Bett verdient hätte. Stattdessen betrachtete sie den Entscheidungsprozess als eine Reise. Der Forscher entwarf ein Szenario, in dem ein einzelnes Intensivstationsbett für zwei Patienten mit unterschiedlichem medizinischem Bedarf zur Verfügung stand. Die Computersysteme wurden gebeten, einen Patienten auszuwählen und zu erklären, warum. Dann führte der Forscher eine Reihe von Wendungen ein: neue medizinische Daten, Druck von Krankenhausleitungen, widersprüchliche ethische Regeln und Forderungen, ihre Meinung zu ändern. Schließlich bat der Forscher die Systeme, den gesamten Druck und die neuen Informationen zu vergessen und zu der allerersten Situation zurückzukehren, der sie gegenüberstanden. Das Ziel war es zu sehen, ob die Systeme einfach ihre erste Wahl wiederholen würden oder ob sie auch die ursprünglichen Gründe und Fakten erinnern und wiederherstellen würden, die zu dieser Wahl führten.
Die Ergebnisse offenbarten eine frappierende Diskrepanz zwischen dem, was die Systeme am Ende sagten, und dem Weg, den sie dorthin fanden. Als der Forscher den Systemen explizit befahl, zurückzusetzen und zum ursprünglichen Fall zurückzukehren, endete jede einzelne der 144 simulierten Konversationen damit, dass das System denselben Patienten wählte, den es ganz zu Beginn gewählt hatte. Oberflächlich betrachtet sah dies nach perfekter Stabilität aus. Doch als der Forscher tiefer in den Text blickte, änderte sich das Bild. In jedem der getesteten Systemen gab es mindestens eine Konversation, in der das System zur ursprünglichen Wahl zurückkehrte, aber die ursprünglichen Gründe nicht wiederherstellte. Es wählte vielleicht denselben Patienten, rechtfertigte dies jedoch mit einer anderen Regel, oder es vergaß, dass sich die medizinischen Fakten während der unter Druck stehenden Mitte des Gesprächs geändert hatten. In einigen Fällen behauptete das System sogar, seine Meinung nie geändert zu haben, obwohl die Aufzeichnungen zeigten, dass es dies doch getan hatte.
Die Studie ergab, dass die Systeme zwar exzellent darin waren, Anweisungen zur Wiederholung einer endgültigen Antwort zu folgen, aber nicht gleichermaßen gut darin waren, sich an den Weg zu erinnern, den sie dorthin genommen hatten. Von 144 Konversationen kehrten die Systeme in 132 Fällen korrekt zu den ursprünglichen medizinischen Fakten zurück. In den verbleibenden 12 Fällen hielten sie entweder an Fakten aus den späteren, druckgefüllten Teilen der Konversation fest oder waren uneindeutig darüber, welche Fakten sie verwendeten. Darüber hinaus, als sie gebeten wurden, eine Zusammenfassung ihrer eigenen Reise zu schreiben, erstellte kein System eine perfekt genaue Darstellung dessen, was geschehen war, in allen 16 seiner Konversationen. Einige Zusammenfassungen ließen entscheidende Änderungen aus, während andere Details über Teile des Gesprächs erfanden, die der Forscher absichtlich ausgelassen hatte. Als der Forscher die Systeme bat, als Auditoren zu fungieren und Widersprüche in ihrer eigenen Arbeit zu finden, schafften es alle, die erforderliche Anzahl an Widersprüchen zu finden, was jedoch eher eine Reaktion auf das Format der Frage als eine echte Selbstkorrektur war.
Diese Forschung legt nahe, dass für die wahre Vertrauenswürdigkeit künstlicher Intelligenz in kritischen Situationen nicht allein die endgültige Antwort ausreicht. Ein System kann stabil erscheinen, weil es eine gleiche Wahl wiederholt, selbst wenn seine interne Logik, sein Gedächtnis für die Fakten und seine Erzählung über die Vergangenheit abgedriftet sind. Die Studie hat nicht bewiesen, dass diese Systeme täuschend oder dass sie verborgene Absichten haben; sie hat lediglich gezeigt, dass ihre Fähigkeit, eine konsistente Geschichte wiederherzustellen, nicht garantiert ist, nur weil sie eine konsistente Antwort wiederherstellen können. Die Ergebnisse implizieren, dass die Bewertung dieser Werkzeuge erfordert, den gesamten Gesprächsverlauf zu betrachten und nicht nur den letzten Satz. Wenn wir nur das Endergebnis prüfen, übersehen wir möglicherweise, dass das System im Stillen seine eigenen Regeln umgeschrieben oder die Realität der Situation, der es dienen soll, vergessen hat. In Hochrisikoumgebungen wie Krankenhäusern reicht es nicht aus zu wissen, dass ein System zu einer Wahl zurückkehren kann; wir müssen auch wissen, dass es sich auch daran erinnert, warum es diese Wahl ursprünglich getroffen hat.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.