Hallucinations in AI Chatbots: A Comparative Analysis

In den letzten Jahren ist eine neue Art von Computerprogrammen zu einem gängigen Werkzeug für das Schreiben, Programmieren und die Informationssuche geworden. Diese Programme, bekannt als Large Language Models (große Sprachmodelle), wurden mit riesigen Mengen an Texten aus dem Internet trainiert. Sie sind darauf ausgelegt, vorherzusagen, welches Wort als Nächstes in einem Satz stehen sollte, was es ihnen ermöglicht, menschenähnliche Antworten auf Fragen zu generieren. Obwohl sie unglaublich nützlich sind, haben sie einen merkwürdigen Fehler: Manchmal behaupten sie Dinge, die völlig falsch sind, und zwar mit absoluter Zuversicht. Forscher nennen diese Fehler „Halluzinationen“. Eine Halluzination kann wie ein echter Fakt, ein echtes Zitat aus einem Buch oder eine funktionierende Zeile Code aussehen, ist aber tatsächlich eine Erfindung. Dies ist nicht nur ein kleiner Fehler; wenn diese Programme für die Schularbeit, medizinische Beratung oder professionelle Forschung verwendet werden, kann ein erfundener Fakt zu realer Verwirrung oder Gefahr führen. Die Frage, vor der Wissenschaftler und Nutzer gleichermaßen stehen, ist nicht, ob diese Fehler auftreten, sondern wie oft sie vorkommen, welche Programme am anfälligsten dafür sind und wie Menschen sie erkennen können, bevor sie Probleme verursachen.

Ein Team von Forschern vom Usman Institute of Technology machte sich daran, dieses Problem zu verstehen, indem sie die vier derzeit populärsten KI-Chatbots untersuchten: GPT-4, Gemini, Claude und Microsoft Copilot. Anstatt die Maschinen lediglich in einem Labor zu testen, befragten die Forscher 80 tatsächliche Nutzer zu ihren realen Erfahrungen. Sie wollten wissen, wie oft diese Nutzer auf falsche Informationen stießen, wie sie die Fehler bemerkten und was sie taten, um sie zu korrigieren. Die Studie konzentrierte sich auf Aufgaben, die eine hohe Genauigkeit erfordern, wie das Schreiben akademischer Arbeiten, das Schreiben von Computercode und die Durchführung von Recherchen. Das Ziel war es, über technische Benchmarks hinauszugehen und zu sehen, wie sich diese Werkzeuge in den Händen von Menschen aus der Praxis verhalten, die sie für wichtige Aufgaben nutzen.

Die Ergebnisse der Umfrage zeigten, dass Halluzinationen ein hartnäckiges Problem sind, selbst bei den fortschrittlichsten Systemen. Die meisten der Befragten gaben an, dass sie diese KI-Tools jeden Tag oder mehrmals täglich nutzen. Sie verlassen sich auf sie beim Programmieren, bei der Recherche und beim Schreiben. Die Mehrheit berichtete jedoch auch, dass sie häufig auf erfundene Informationen oder gefälschte Referenzen stößt. Die Forscher fanden heraus, dass diese Fehler nicht zufällig auftreten; sie neigen dazu, häufiger aufzutreten, wenn ein Gespräch länger wird. Nachdem ein Nutzer fünf bis zwanzig Nachrichten mit dem Bot ausgetauscht hat, steigt die Wahrscheinlichkeit, dass das Programm Fehler macht und inkonsistente oder falsche Details liefert. Dies deutet darauf darauf hin, dass die Maschine eher die Kontrolle über die Wahrheit verliert, je länger man mit ihr spricht.

Wenn Nutzer bemerkten, dass etwas nicht stimmte, verließen sie sich nicht auf den Computer. Stattdessen nutzten sie ihr eigenes Wissen. Die häufigste Art und Weise, wie Menschen eine Halluzination entdeckten, war, wenn die Antwort der KI etwas widersprach, von dem sie bereits wussten, dass es wahr ist. Ein weiteres großes Warnsignal war das Vorhandensein falscher Zitate. Wenn das Programm ein Buch, eine Studie oder eine Website aufführte, die nicht gefunden werden konnte oder nicht existierte, wussten die Nutzer sofort, dass die Information erfunden war. Die Studie zeigte, dass die Erkennung dieser Fehler nach wie vor weitgehend eine menschliche Aufgabe ist. Sie hängt von der Fähigkeit des Nutzers ab, Fakten zu überprüfen, und von seiner Bereitschaft, die Maschine infrage zu stellen, anstatt von einem automatischen Sicherheitsmechanismus, der in der Software selbst eingebaut ist.

Die Forscher verglichen auch die vier verschiedenen Chatbots, um zu sehen, ob eines der Systeme sicherer oder zuverlässiger als die anderen war. Sie fanden heraus, dass jedes System seine eigenen Stärken und Schwächen hat. GPT-4 wurde für seine Fähigkeit gelobt, komplexe Probleme logisch zu durchdringen, während Gemini für seine starke Fähigkeit geschätzt wurde, Informationen aus Suchergebnissen zu ziehen, was hilft, seine Antworten in der Realität zu verankern. Claude zeichnete sich durch seinen Fokus auf Sicherheit und Ehrlichkeit aus, insbesondere in sensiblen Bereichen wie der Gesundheit, wo es eine hohe Genauigkeit zeigte. Microsoft Copilot wurde für seine enge Integration in andere Softwaretools erkannt, was es für die Produktivität nützlich macht. Dennoch war keines der vier Modelle perfekt. Alle produzierten gelegentlich falsche Zitate und unzuverlässigen Code. Die Studie kam zu dem Schluss, dass diese Werkzeuge zwar leistungsstark sind, aber noch nicht vertrauenswürdig genug sind, um ohne menschliche Aufsicht eingesetzt zu werden, insbesondere in hochsensiblen Bereichen wie der Medizin oder der akademischen Forschung.

Was kann also getan werden, um dies zu beheben? Die Umfrageteilnehmer lieferten eine klare Antwort. Sie glaubten nicht, dass die Lösung allein darin liegt, die KI intelligenter zu machen. Stattdessen sagten sie, dass der effektivste Weg, Fehler zu reduzieren, darin besteht, die KI dazu zu verpflichten, ihren Rechenweg offenzulegen. Die Nutzer bevorzugten es eindeutig, wenn Antworten verifizierte Zitate enthielten, was bedeutet, dass das Programm für jeden behaupteten Fakt auf eine echte, existierende Quelle hinweisen muss. Menschliche Überprüfung war die zweitbeliebteste Lösung, gefolgt von automatischen Faktencheck-Systemen. Die Menschen, die diese Werkzeuge nutzen, wollen Transparenz; sie wollen sehen, woher die Informationen stammen, damit sie diese selbst überprüfen können. Die Forscher schlagen vor, dass zukünftige Verbesserungen darauf abzielen sollten, die KI dazu zu bringen, ihre Quellen zu erklären und zuzugeben, wenn sie sich unsicher ist, anstatt nur zu versuchen, mehr Text zu generieren.

Letztendlich unterstreicht diese Studie eine entscheidende Realität über den aktuellen Stand der künstlichen Intelligenz. Diese Werkzeuge werden immer ausgefeilter und werden für komplexere Aufgaben eingesetzt, aber das Problem der Erfindungen ist nicht verschwunden. Die Forscher fanden heraus, dass die Nutzer sich der Risiken bewusst sind und aktiv versuchen, diese zu umgehen, indem sie Fakten doppelt prüfen und Beweise fordern. Damit diese Systeme wirklich zuverlässig werden, insbesondere in kritischen Bereichen wie dem Gesundheitswesen und der Bildung, müssen sie sich dahin entwickeln, klare, verifizierbare Quellen für ihre Antworten zu liefern. Bis dahin bleibt die Verantwortung für die Richtigkeit fest in menschlicher Hand, wobei die KI als hilfreicher Assistent und nicht als endgültige Autorität dient.