Reliable AI Needs to Externalize Implicit Knowledge: A Human-AI Collaboration Perspective
Dieses Positionspapier argumentiert, dass die Entwicklung von „Wissensobjekten" erforderlich ist, um implizites Wissen zu externalisieren und zu strukturieren, wodurch eine menschliche Überprüfung bisher nicht überprüfbarer kritischer Schlussfolgerungsmuster ermöglicht und ein skalierbarer Weg zur langfristigen Verbesserung der Vertrauenswürdigkeit von KI geschaffen wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das Kernproblem: Der „Black Box"-Koch
Stellen Sie sich vor, Sie stellen einen brillanten Koch (die KI) ein, um ein komplexes Gericht zuzubereiten. Dieser Koch hat Millionen von Gerichten aus jedem Restaurant der Welt probiert. Er weiß genau, wie man Aromen kombiniert, wann man Salz hinzufügt und wie man eine verbrannte Sauce rettet.
Es gibt jedoch einen Haken. Der Koch hat diese Fähigkeiten gelernt, indem er Millionen von Menschen beim Kochen beobachtet hat, nicht indem er ein formales Kochbuch gelesen hat.
- Explizites Wissen (Das Kochbuch): Das ist das, was der Koch zeigen kann. „Das Rezept sagt, man soll 2 Tassen Mehl hinzufügen." Der Koch kann Ihnen die Seite im Buch zeigen. Das ist leicht zu überprüfen.
- Implizites Wissen (Die Intuition des Kochs): Das ist das, was der Koch fühlt. „Fügen Sie eine Prise Salz hinzu, weil die Sauce zu sauer schmeckt" oder „Verwenden Sie dieses Messer nicht, weil der Griff rutschig fühlt." Der Koch hat das nie aufgeschrieben. Es ist nur ein Muster, das er durch das Beobachten anderer übernommen hat.
Die große Behauptung des Papers:
Derzeit ist die KI erstaunlich darin, diese „Intuition" (implizites Wissen) zu nutzen, um intelligente Dinge zu tun. Aber da sie nie aufgeschrieben wurde, können wir nicht überprüfen, ob sie richtig ist. Der Koch mag eine brillante Technik anwenden, oder er kopiert vielleicht eine schlechte Angewohnheit aus einem schrecklichen Restaurant. Wir können den Unterschied nicht erkennen, weil das „Rezept" für diese Intuition nicht existiert.
Dies erzeugt eine gefährliche Lücke: Die KI ist sehr leistungsfähig, aber wir können ihr nicht vertrauen, weil wir nicht sehen können, wie sie entschieden hat, was zu tun ist.
Warum aktuelle Lösungen nicht funktionieren
Das Paper untersucht vier Wege, wie Menschen versuchen, die Zuverlässigkeit von KI zu verbessern, und erklärt, warum sie dieses spezifische Problem nicht lösen:
- Nachschlagen von Fakten (RAG): Stellen Sie sich vor, der Koch darf während des Kochens ein Kochbuch öffnen. Das hilft bei Fakten (wie „wie viele Eier in einem Omelett"), aber es hilft nicht bei der Intuition (wie „wie man beurteilt, ob die Pfanne heiß genug ist"). Der Koch verlässt sich immer noch auf sein unsichtbares Bauchgefühl.
- Den Koch auffordern, sich selbst zu überprüfen: Stellen Sie sich vor, Sie fragen den Koch: „Sind Sie sicher, dass das gut schmeckt?" Der Koch könnte antworten: „Ja, ich bin zu 99 % sicher!" Aber wenn der Koch von Anfang an eine schlechte Angewohnheit gelernt hat, wird er selbstbewusst behaupten, diese schlechte Angewohnheit sei gut. Er kann seine eigenen blinden Flecken nicht erkennen.
- Den Koch trainieren: Stellen Sie sich vor, Sie geben dem Koch einen neuen Satz von Regeln, die er befolgen soll. Das verändert sein Verhalten, aber die Regeln sind in seinem Gehirn (den Parametern des Modells) verschlossen. Sie können nicht hineinschauen, um zu sehen, welche Regel ihn dazu gebracht hat, etwas zu tun.
- Dem Koch ein Notizbuch geben (Gedächtnis): Stellen Sie sich vor, der Koch schreibt auf, was er heute getan hat, um es sich für morgen zu merken. Aber wenn er einen Fehler aufgeschrieben hat, wird er diesen Fehler für immer wiederholen. Das Notizbuch sagt Ihnen nicht, ob die Notiz „Wahr" oder „Falsch" ist.
Der gemeinsame Fehler: Alle diese Methoden halten die „Intuition" in der KI gefangen. Menschen können sie nicht sehen, überprüfen oder genehmigen.
Die Lösung: „Wissensobjekte" (Knowledge Objects, KOs)
Die Autoren schlagen ein neues Werkzeug vor, das Wissensobjekt (KO) genannt wird.
Stellen Sie sich ein KO als eine transparente „Rezeptkarte" für die Intuition des Kochs vor.
Wenn die KI ihre Intuition nutzt, um ein Problem zu lösen, muss sie anhalten und eine strukturierte Karte aufschreiben, die Folgendes besagt:
- Die Behauptung: „Ich habe das Singleton-Muster für die Datenbank verwendet."
- Die Begründung: „Ich habe gesehen, wie 12 andere Experten dies in Situationen mit hohem Verkehrsaufkommen getan haben."
- Die Grenzen: „Dies funktioniert nur für Java-Anwendungen, nicht für Stapelverarbeitung."
- Der Validator: „Alice (eine Senior-Ingenieurin) hat dies am 15. Januar überprüft und sagte: ‚Genehmigt'."
Wie dies alles verändert:
Anstatt dass die KI Ihnen nur eine Antwort gibt, gibt sie Ihnen die Antwort plus die „Rezeptkarte", die zeigt, wie sie dorthin gelangt ist.
- Es macht das Unsichtbare sichtbar: Sie können nun die Begründung sehen, nicht nur das Ergebnis.
- Es ermöglicht menschliche Überprüfungen: Ein menschlicher Experte (wie Alice) kann sich die Karte ansehen und sagen: „Ja, das ist ein gutes Muster" oder „Nein, das ist ein gefährliches Muster."
- Es spart Zeit (der „kumulative" Effekt):
- Ohne KOs: Jedes Mal, wenn ein neuer Entwickler die KI fragt, muss er 30 Minuten damit verbringen, zu überprüfen, ob die KI recht hat.
- Mit KOs: Alice überprüft es einmal. Sie stempelt die Karte „Verifiziert". Jetzt sehen die nächsten 1.000 Entwickler die Karte, sehen Alices Stempel und vertrauen der Antwort sofort. Die Arbeit wird einmal erledigt, aber der Nutzen hält für immer an.
Das Beispiel „CodeAssist"
Das Paper verwendet ein Software-Beispiel, um dies zu erklären:
- Das Szenario: Eine KI hilft einem Programmierer zu entscheiden, wie er eine Datenbank verbindet.
- Der alte Weg: Die KI sagt: „Verwenden Sie das Singleton-Muster." Der Programmierer muss raten, ob dies sicher ist oder ob es das System zum Absturz bringen wird.
- Der KO-Weg: Die KI sagt: „Verwenden Sie das Singleton-Muster" und zeigt eine Karte: „Warnung: Dies verursacht Abstürze, wenn mehr als 100 Personen es gleichzeitig verwenden. Verifiziert von Senior-Ingenieurin Alice für Standard-Webanwendungen. Nicht verifiziert für Stapelaufträge."
- Das Ergebnis: Der Programmierer weiß genau, wann er es verwenden soll und wann er es vermeiden muss. Er muss nicht raten.
Zusammenfassung
Das Paper argumentiert, dass wir uns nicht allein auf KI verlassen können, weil ihr „Gehirn" zu viel versteckte, unverifizierte Intuition enthält. Um KI zuverlässig zu machen, müssen wir sie zwingen, ihre Begründung in einem Format aufzuschreiben, das Menschen überprüfen können.
Indem wir versteckte Intuition in Wissensobjekte verwandeln, verwandeln wir eine einmalige Vermutung in ein dauerhaftes, vertrauenswürdiges Gut. Es verwandelt die KI von einer „Black Box", vor der wir Angst haben müssen, in einen kollaborativen Partner, bei dem menschliches Urteil aufgezeichnet, geteilt und im Laufe der Zeit weiterentwickelt wird.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.