Multimodal Model Diffing for Feature Discovery and Control

Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter gebaut, der Bücher lesen, Bilder betrachten und Fragen zu beidem beantworten kann. Sie haben ihn darauf trainiert, hilfreich zu sein, aber manchmal wird er verwirrt, halluziniert Fakten oder sagt etwas Unsicheres, wenn ihm ein kniffliges Bild gezeigt wird. Das Problem ist, dass in dem „Gehirn“ dieses Roboters alles ein verdrehtes Chaos aus Mathematik ist. Es ist wie eine riesige Bibliothek, in der alle Bücher zusammengeklebt sind, und man kann nicht sagen, welche spezifische Seite für das schlechte Verhalten des Roboters verantwortlich ist oder für seine erstaunliche Fähigkeit, eine Katze auf einem Foto zu erkennen. Wissenschaftler wollen das beheben, aber sie brauchen einen Weg, um hineinzuschauen und die exakten „Schalter“ oder „Regler“ zu finden, die diese spezifischen Fähigkeiten steuern.

Um dies zu erreichen, nutzen Forscher ein Werkzeug namens Sparse Autoencoder (SAE). Stellen Sie sich einen SAE als einen magischen Übersetzer vor, der die ungeordneten, verdrehten Gedanken des Roboters nimmt und sie in eine Liste einfacher, unterscheidbarer „Ideen“ oder „Merkmale“ zerlegt. Anstatt einer verschwommenen Datenwolke ist das Gehirn des Roboters plötzlich in einem Wörterbuch organisiert, in dem jeder Eintrag ein einzelnes Konzept darstellt, wie zum Beispiel „rot“, „Gefahr“ oder „links“. Aber hier liegt der Haken: Wenn man einem rein textbasierten Roboter das Sehen beibringt, fügt er nicht einfach nur neue Merkmale hinzu; er ordnet oft die alten um. Es ist, als würde man ein Wörterbuch englischer Wörter nehmen und plötzlich das Wort „Apfel“ benutzen, um ein „rotes Auto“ zu bedeuten.

Genau hier setzt die neue Arbeit namens MMDiff an. Die Forscher, Hunar Batra und ihr Team von Oxford und Microsoft, erkannten, dass man, um die spezifischen „visuellen Schalter“ zu finden, nicht einfach nur den fertigen Roboter betrachten darf, sondern ihn mit seinem „textbasierten“ Ich vergleichen muss, bevor er das Sehen lernte. Sie entwickelten eine Methode namens Multimodal Model Diffing. Stellen Sie sich zwei identische Zwillinge vor: den einen, der nur Bücher gelesen hat, und den anderen, der auch gelernt hat, die Welt zu sehen. Durch den Seitenvergleich ihrer Gehirne hebt MMDiff genau hervor, welche Teile des Gehirns sich verändert haben oder für die Vision umfunktioniert wurden.

Das Team fand heraus, dass dieser „Diffing“-Prozess unglaublich leistungsstark ist. Sie entdeckten, dass sie durch die Isolierung dieser veränderten Merkmale das Verhalten des Roboters mit überraschender Präzision steuern konnten. Beispielsweise fanden sie spezifische Merkmale, die für das Verständnis von räumlichen Beziehungen verantwortlich sind (wie etwa zu wissen, ob eine Tasse über einem Tisch steht). Als sie diese spezifischen Merkmale „ausschalteten“, sank die Fähigkeit des Roboters, räumliche Fragen zu beantworten, um etwa 12 %, während seine Fähigkeit, allgemeine Fragen zu beantworten, exakt gleich blieb. Es war, als würde man den „Links/Rechts“-Schalter ausschalten, ohne den „Was ist das?“-Schalter zu beschädigen.

Sie fanden auch Merkmale, die mit Sicherheit verknüpft sind. Als sie die Merkmale identifizierten und entfernten, die den Roboter anfällig für unsichere bildbasierte Tricks machten, verbesserte sich die Erfolgsrate des Roboters beim Ignorieren dieser Tricks um 24 %. Noch besser: Sie konnten den Roboter „steuern“, indem sie diese Merkmale höher oder niedriger stellten. Indem sie die richtigen Merkmale verstärkten, verbesserten sie die Fähigkeit des Roboters, Text in Bildern zu lesen (OCR), um 1,8 % und sein räumliches Vorstellungsvermögen um 3,6 %, und das alles, ohne den gesamten Roboter neu trainieren zu müssen.

Die Arbeit schließt explizit die Idee aus, dass man einfach ein neues Wörterbuch von Grund auf neu trainieren kann und erwartet, die spezifischen visuellen Merkmale dabei leicht zu finden. Sie zeigten, dass man ohne den Vergleich mit der textbasierten Version des Roboters (den „Diffing“-Teil) die Merkmale vermischt bekommt und die spezifischen Fähigkeiten, die man kontrollieren möchte, nicht isolieren kann. Sie fanden auch heraus, dass es nicht ausreicht, einfach nur zu schauen, welche Merkmale oft feuern; man muss prüfen, ob diese Merkmale während des Trainingsprozesses tatsächlich rotiert oder ihre Bedeutung geändert haben.

Kurz gesagt: MMDiff fungt wie ein hochtechnologisches „Suchen und Ersetzen“-Werkzeug für KI-Gehirne. Es sagt uns nicht nur, dass der Roboter etwas tut; es sagt uns, welcher winzige Teil des Gehirns genau das tut, was uns erlaubt, spezifische Verhaltensweisen wie das Lesen von Text, das Verständnis von Raum oder das Einhalten von Sicherheitsregeln anzupassen, zu korrigieren oder zu verbessern, während die restliche Intelligenz des Roboters unberührt bleibt. Dies deutet darauf an, dass wir in der Zukunft in der Lage sein könnten, diese mächtigen KI-Systeme viel sicherer und effektiver zu prüfen und zu steuern, um sicherzustellen, dass sie genau das tun, was wir von ihnen wollen.