Explainability and Interpretability Methods for Large Language Models: An Exploratory Systematic Mapping Study
Diese systematische Mapping-Studie analysiert 1.252 Forschungsarbeiten zu Erklärbarkeitselementen für große Sprachmodelle und zeigt auf, dass die meisten Techniken den Zugriff auf unzugängliche interne Modelldaten erfordern und dass Belege hinsichtlich des Nutzens für Menschen sowie der realen Anwendung noch kritisch knapp sind.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In den letzten Jahren hat eine neue Art von Computerprogramm die Art und Weise, wie wir mit Technologie interagieren, grundlegend verändert. Diese Systeme, bekannt als Large Language Models (große Sprachmodelle), können Geschichten schreiben, mathematische Probleme lösen und Gespräche führen, die bemerkenswert menschlich wirken. Sie funktionieren, indem sie das nächste Wort in einem Satz vorhersagen, Schicht um Schicht, bis ein vollständiger Gedanke entsteht. Doch da diese Programme mit Milliarden von einstellbaren Parametern aufgebaut sind, ist ihr inneres Wirken oft ein Rätsel. Wenn ein solches System eine Antwort gibt, ist es schwierig zu wissen, ob diese Antwort auf einem tiefen Verständnis der Fakten beruht oder lediglich auf einer geschickten Vermutung basierend auf Mustern, die es zuvor gesehen hat. Diese Ungewissheit hat einen dringenden Bedarf an Erklärbarkeit geschaffen: der Fähigkeit, in die Maschine hineinzusehen und zu verstehen, warum sie eine bestimmte Entscheidung getroffen hat. Forscher versuchen, Werkzeuge zu bauen, die eine Entscheidung zu ihrer Quelle zurückverfolgen können, um die Logik, die Daten oder die spezifischen Teile des „Computergehirns“ offenzulegen, die zum endgültigen Ergebnis führten.
Ein Team von Forschern der Universität Piraeus in Griechenland hat einen massiven Schritt zur Klärung dieses Feldes unternommen. Sie führten eine umfassende Untersuchung von fast 8.000 wissenschaftlichen Berichten durch, die zwischen 2019 und August 2026 veröffentlicht wurden, und grenzten diese auf 1.252 Studien ein, die spezifisch versuchten zu erklären, wie diese Large Language Models funktionieren. Ihr Ziel war es nicht, eine neue Methode zu erfinden, sondern die gesamte Landschaft bestehender Methoden abzubilden. Sie wollten sehen, welche Arten von Erklärungen Wissenschaftler entwickeln, auf welche Teile des Computers sie zugreifen dürfen und ob diese Erklärungen Menschen tatsächlich helfen zu verstehen oder nur überzeugend wirken. Um diese enorme Aufgabe zu bewältigen, nutzten die Forscher ein sorgfältig konzipiertes KI-System, um jede Arbeit zu lesen und zu kategorisieren, wobei menschliche Experten die Arbeit überprüften, um die Genauigkeit zu gewährleisten.
Die auffälligste Entdeckung ihrer Kartierung ist eine grundlegende Diskrepanz zwischen den Werkzeugen, die Wissenschaftler bauen, und der Realität, wie diese Modelle heute genutzt werden. Die überwiegende Mehrheit der von ihnen gefundenen Methoden – fast 70 Prozent – erfordert einen tiefen, internen Zugriff auf das Gehirn des Computers. Um diese Werkzeuge zu nutzen, muss ein Forscher die rohen Zahlen sehen, die durch das System fließen, oder sogar die Einstellungen des Modells selbst ändern können. Die leistungsfähigsten Sprachmodelle jedoch, die Menschen im Alltag nutzen, werden von Unternehmen als geschlossene Dienste bereitgestellt. Nutzer können eine Nachricht senden und eine Antwort erhalten, aber sie können nicht die internen Zahlen sehen oder die Einstellungen ändern. Dies bedeutet, dass die anspruchsvollsten Wege, diese Modelle zu erklären, für genau die Systeme, bei denen Menschen Erklärungen am dringendsten benötigen, praktisch nutzlos sind. Nur etwa 23 Prozent der Studien beschrieben Methoden, die mit dem öffentlichen, begrenzten Zugang funktionieren könnten, wie etwa das bloße Lesen des Textausgangs oder der Wahrscheinlichkeitswerte des nächsten Wortes.
Die Forscher untersuchten auch, was diese Erklärungen tatsächlich beweisen. Sie fanden heraus, dass sich die meisten Studien auf „Faithfulness“ (Treue) konzentrierten, was eine technische Art der Frage ist, ob die Erklärung tatsächlich mit der internen Logik des Computers übereinstimmt. Etwa 70 Prozent der Arbeiten versuchten zu zeigen, dass ihre Methode die Ursache einer Entscheidung korrekt identifiziert hat. Die Studie stellte jedoch fest, dass sehr wenige Forscher testeten, ob diese Erklärungen für echte Menschen tatsächlich nützlich waren. Nur etwa 3 Prozent der Studien beinhalteten echte Menschen, die die Erklärungen testeten, um zu sehen, ob sie ihnen halfen, bessere Entscheidungen zu treffen, das System zu verstehen oder dem Output zu vertrauen. Es ist, als hätten Ingenieure jahrelang die perfekte Karte der unterirdischen Tunnel einer Stadt erstellt, aber nie einen Pendler gefragt, ob die Karte ihm hilft, den Weg zu finden.
Eine weitere signifikante Lücke zeigte sich in der Art und Weise, wie die Forscher ihre Ideen testeten. Während viele Studien behaupteten, ihre Methoden seien robust, nutzten weniger als ein Drittel von ihnen eine strenge Kontrollgruppe, um zu beweisen, dass ihre Ergebnisse nicht bloß auf Zufall basierten. Zudem war der Bezug zu realen Regeln und Vorschriften fast nicht existent. Trotz der häufigen Erwähnung von Gesetzen bezüglich der Transparenz künstlicher Intelligenz verknüpften nur eine Handvoll der Studien ihre technischen Methoden tatsächlich mit spezifischen rechtlichen Anforderungen. Die Forscher merkten an, dass das Feld zwar schnell wächst – mit fast der Hälfte der eingeschlossenen Studien in nur einem Jahr veröffentlicht –, aber immer noch stark auf Open-Source-Modelle fokussiert bleibt, die jeder herunterladen kann, statt auf die proprietären, geschlossenen Systeme, die den Markt dominieren.
Die Studie kommt zu dem Schluss, dass sich das Feld der Erklärung von Large Language Models an einem Scheideweg befindet. Die derzeit verfügbaren Werkzeuge sind zwar leistungsstark, aber oft unzugänglich, und sie priorisieren technische Korrektheit gegenüber menschlichem Nutzen. Die Forscher schlagen vor, dass sich die zukünftige Arbeit darauf konzentrieren muss, Methoden zu entwickeln, die mit dem begrenzten Zugang kommerzieller Dienste funktionieren, sowie darauf, diese Erklärungen mit echten Menschen zu testen. Bis dahin bleiben die fortschrittlichsten Erklärungen in den Laboren der Forscher verschlossen, die vollen Zugriff auf die Maschinen haben, während die breite Öffentlichkeit mit Systemen zurückbleibt, die zwar zunehmend leistungsfähiger, aber auch zunehmend schwerer zu verstehen sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.