🤖 machine learning

CLT-Forge: A Scalable Library for Cross-Layer Transcoders and Attribution Graphs

Das Paper stellt CLT-Forge vor, eine Open-Source-Bibliothek, die skalierbares verteiltes Training, automatisierte Interpretierbarkeit und Visualisierung für Cross-Layer-Transcoder bereitstellt, um mechanische Interpretierbarkeit von Large Language Models effizienter und kompakter zu gestalten.

Ursprüngliche Autoren: Florent Draye, Abir Harrasse, Vedant Palit, Tung-Yu Wu, Jiarui Liu, Punya Syon Pandey, Roderick Wu, Terry Jingchen Zhang, Zhijing Jin, Bernhard Schölkopf

Veröffentlicht 2026-03-24

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Florent Draye, Abir Harrasse, Vedant Palit, Tung-Yu Wu, Jiarui Liu, Punya Syon Pandey, Roderick Wu, Terry Jingchen Zhang, Zhijing Jin, Bernhard Schölkopf

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, ein großes Sprachmodell (wie ein KI-Chatbot) ist eine riesige, komplexe Fabrik. In dieser Fabrik laufen unzählige Maschinen durch, die Wörter verarbeiten und Bedeutungen verstehen. Das Problem: Niemand weiß genau, welche Maschine was tut oder wie sie zusammenarbeiten. Sie sehen aus wie ein undurchdringlicher Betonblock.

Die Wissenschaftler, die versuchen, diese Fabrik zu verstehen, nennen sich „Mechanische Interpretierer". Ihr Ziel ist es, die einzelnen Bauteile zu identifizieren und zu erklären, wie sie funktionieren.

Hier ist die Geschichte von CLT-Forge, einem neuen Werkzeug, das diese Aufgabe revolutioniert.

1. Das alte Problem: Der überfüllte Werkzeugkasten

Bisher haben Forscher versucht, die Fabrik zu verstehen, indem sie für jede Etage der Fabrik (jede „Schicht" des neuronalen Netzwerks) einen eigenen Werkzeugkasten anlegten.

Das Problem: Oft machen die Maschinen in Etage 5 und Etage 10 fast das Gleiche. Aber weil man sie getrennt betrachtet, hatte man zwei identische Werkzeuge im Werkzeugkasten. Das führte zu riesigen, verwirrten Diagrammen mit tausenden von doppelten Einträgen. Es war wie ein Bibliothekskatalog, in dem jedes Buch dreimal unter verschiedenen Namen aufgeführt war – unübersichtlich und schwer zu lesen.

2. Die Lösung: CLT (Cross-Layer Transcoder)

Die Forscher entwickelten eine neue Methode, die Cross-Layer Transcoder (CLT) nennt.

Die Analogie: Stell dir vor, statt für jede Etage einen eigenen Werkzeugkasten zu haben, haben wir nun einen einzigen, riesigen, zentralen Werkzeugkasten, der von allen Etagen gemeinsam genutzt wird.
Wenn eine Maschine in Etage 5 ein Werkzeug braucht, greift sie in den zentralen Kasten. Wenn Etage 10 dasselbe Werkzeug braucht, greift sie auch dort hinein.
Der Vorteil: Das Diagramm wird viel kleiner und klarer. Doppelte Einträge verschwinden. Man sieht endlich, welche wahren Konzepte (die Werkzeuge) in der KI existieren.

3. Das neue Hindernis: Die Fabrik ist zu groß

Aber hier kam das nächste Problem: Dieser zentrale Werkzeugkasten ist riesig. Um ihn zu trainieren (zu lehren, welche Werkzeuge wann gebraucht werden), braucht man so viel Rechenleistung und Speicherplatz, dass es für normale Forscher unmöglich war, das zu tun. Es war wie der Versuch, einen Ozean mit einem Eimer leer zu pumpen. Große Firmen wie Anthropic hatten solche Werkzeuge, aber niemand sonst konnte sie nutzen, weil die Technik zu teuer und kompliziert war.

4. CLT-Forge: Der neue Bagger

Hier kommt CLT-Forge ins Spiel. Es ist eine neue, offene Bibliothek (eine Art Software-Werkzeugkasten), die genau dieses Problem löst. Sie macht das Training dieser riesigen CLT-Systeme für jeden möglich.

Wie funktioniert CLT-Forge? Stell dir vier Hauptfunktionen vor:

Der intelligente Speicher (Komprimierung):
Normalerweise müsste man alle Daten der Fabrik (Milliarden von Aktivierungen) speichern. Das würde den gesamten Speicherplatz der Welt füllen. CLT-Forge komprimiert diese Daten wie ein extrem effizienter Staubsauger. Es drückt die Informationen so stark zusammen (Quantisierung), dass sie nur noch ein Fünftel des Platzes brauchen, aber trotzdem fast genauso gut funktionieren.
- Vergleich: Es ist, als würde man einen ganzen Wald in eine kleine Dose packen, ohne dass die Bäume ihre Form verlieren.
Das Team-Training (GPU-Sharding):
Ein einziger Computer ist zu schwach, um den zentralen Werkzeugkasten zu trainieren. CLT-Forge teilt die Arbeit auf viele Computer (GPUs) auf. Jeder Computer kümmert sich nur um einen Teil der Werkzeuge, aber alle arbeiten gleichzeitig am selben Ziel.
- Vergleich: Statt dass eine Person versucht, einen ganzen Berg Steine zu tragen, kommen 100 Leute und tragen jeweils einen Stein.
Der automatische Übersetzer (AutoInterp):
Wenn die KI gelernt hat, welche Werkzeuge sie benutzt, müssen wir wissen, was diese Werkzeuge bedeuten. CLT-Forge sucht automatisch nach den besten Beispielen, bei denen ein Werkzeug benutzt wurde, und lässt eine andere KI erklären: „Ah, dieses Werkzeug wird benutzt, wenn es um das Wort 'groß' geht."
- Vergleich: Ein Detektiv, der sofort die besten Zeugen findet und sie interviewt, um zu verstehen, was passiert ist.
Die interaktive Landkarte (Visualisierung):
Am Ende erhält man ein Diagramm, das zeigt, wie die Werkzeuge zusammenarbeiten. CLT-Forge bietet eine schöne, interaktive Oberfläche, um diese Landkarte zu erkunden. Man kann darauf klicken, Gruppen bilden und testen: „Was passiert, wenn wir dieses Werkzeug ausschalten?"
- Vergleich: Eine Google Maps für das Gehirn der KI, auf der man Zoomen, Schichten ein- und ausblenden und Routen planen kann.

Warum ist das wichtig?

Bisher war es wie ein Geheimnis: Nur wenige große Firmen konnten tief in das Innere ihrer KIs schauen. CLT-Forge macht diese Technologie für alle zugänglich. Es ist wie der Schlüssel, der die Tür zu einem verschlossenen Raum öffnet, damit Wissenschaftler, Studenten und Entwickler gemeinsam herausfinden können, wie KI wirklich denkt, wo sie Fehler macht und wie man sie sicherer macht.

Zusammengefasst: CLT-Forge ist das erste umfassende Werkzeug, das es erlaubt, die riesigen, komplexen KIs nicht nur zu betrachten, sondern sie Stück für Stück zu verstehen, indem es die Daten komprimiert, die Rechenlast verteilt und die Ergebnisse in eine verständliche Landkarte verwandelt.

1. Problemstellung

Das Ziel der mechanistischen Interpretierbarkeit von Large Language Models (LLMs) ist es zu verstehen, wie diese Modelle Informationen repräsentieren und verarbeiten. Ein vielversprechender Ansatz nutzt Transcoder (basierend auf Dictionary Learning), um die dichten, nichtlinearen Transformationen von MLP-Schichten durch sparse, lineare Kombinationen interpretierbarer Merkmale (Features) zu approximieren. Dies ermöglicht die Erstellung von Feature-Attributionsgraphen, die kausale Einflüsse zwischen Features darstellen.

Es gibt jedoch zwei wesentliche Herausforderungen:

Redundanz und Komplexität: Bei herkömmlichen Transcodern entstehen oft riesige und redundante Graphen, da ähnliche Features über mehrere Schichten hinweg dupliziert auftreten. Dies macht die Analyse in der Praxis schwierig.
Skalierbarkeit und Infrastruktur: Cross-Layer Transcoder (CLTs) wurden entwickelt, um dieses Problem zu lösen, indem sie Features über Schichten hinweg teilen (Cross-Layer Sharing), während sie schichtspezifisches Decoding beibehalten. Dies führt zu kompakteren und interpretierbaren Graphen. Allerdings sind CLTs aufgrund ihrer enormen Parameteranzahl (quadratisches Wachstum mit der Schichtzahl) extrem rechenintensiv. Bisher fehlte eine umfassende Open-Source-Lösung, die das Training von CLTs im großen Maßstab mit effizientem Speichermanagement, automatisierter Interpretierbarkeit und Visualisierung vereint.

2. Methodik: CLT-Forge

Die Autoren stellen CLT-Forge vor, eine Open-Source-Bibliothek, die einen End-to-End-Workflow für das Training und die Interpretation von CLTs bereitstellt. Die Architektur basiert auf folgenden technischen Säulen:

Cross-Layer Transcoder (CLT) Formulierung:
- Im Gegensatz zu Standard-Transcodern, die Features nur innerhalb einer Schicht decodieren, erlauben CLTs, dass Features aus früheren Schichten ( $\ell \le \ell'$ ) zur Rekonstruktion der Ausgabe späterer Schichten beitragen.
- Die Rekonstruktion erfolgt durch: $\hat{m}_{\ell'} = \sum_{\ell \le \ell'} W_{\ell \to \ell'}^{dec} z_{\ell} + b_{\ell'}^{dec}$ .
- Dies reduziert die Redundanz, erhöht aber die Parameteranzahl drastisch (z. B. ~27,4 Mrd. Parameter für ein LLaMA 3.2 1B Modell).
Skalierbare Trainingsinfrastruktur:
- Aktivierungs-Caching & Kompression: Um den Speicherbedarf für Aktivierungen (oft Terabytes) zu bewältigen, werden diese vorab berechnet und auf der Festplatte gespeichert. CLT-Forge nutzt eine symmetrische pro-Schicht-Quantisierung (int8, int4, int2) in Kombination mit zstd-Entropiekodierung. Dies reduziert den Speicherbedarf um den Faktor 4–12 (z. B. von 20 TB auf 4 TB bei 300M Tokens) bei nur minimalen Qualitätsverlusten (2–3% in der Rekonstruktionsgüte).
- GPU-Sharding: Da CLTs zu groß für einen einzelnen GPU-Speicher sind, implementiert die Bibliothek ein feature-basiertes Sharding. Die Features werden über mehrere GPUs verteilt, wobei jeder Worker einen Teil der Features verarbeitet. Dies ist effizienter als reines FSDP (Fully Sharded Data Parallel) für diese Architektur.
- Training: Das Ziel ist die Rekonstruktion der MLP-Ausgaben unter Sparsitäts- und „Dead-Feature"-Regularisierung (JumpReLU als Aktivierungsfunktion).
Automatisierte Interpretierbarkeit (AutoInterp):
- Ein paralleler Workflow identifiziert die aktivierenden Sequenzen pro Feature, berechnet Statistiken und generiert automatisch natürliche Sprach-Erklärungen (via LLM-Prompts).
- Die Berechnung erfolgt in einem einzigen Durchlauf über große Token-Ströme, wobei nur die Top-K-Aktivierungen im GPU-Speicher gehalten werden.
Attributionsgraphen & Visualisierung:
- Die Bibliothek ist nahtlos mit Circuit-Tracer integriert, um Attributionsgraphen zu berechnen, zu beschneiden und Interventionen durchzuführen.
- Eine Dash-basierte Visualisierungsschnittstelle ermöglicht die interaktive Exploration von Features, Clustern und Graphen sowie das Durchführen von Interventionen auf Cluster-Ebene.

3. Hauptbeiträge

Erste einheitliche Open-Source-Bibliothek: CLT-Forge ist das erste Framework, das skalierbares Training, komprimiertes Caching, automatisierte Interpretierbarkeit und Visualisierung für CLTs vereint.
Effiziente Infrastruktur: Einführung von Quantisierung/Kompression für Aktivierungen und feature-basiertem Sharding, was das Training von CLTs auf großen Modellen (z. B. LLaMA 1B) auf Standard-Hardware (8x80GB GPUs) erst möglich macht.
Integrierter Workflow: Nahtlose Verbindung von Training, Feature-Analyse (AutoInterp), Graphenberechnung und Visualisierung in einer einzigen Pipeline.
Verfügbarkeit: Der Code ist unter der MIT-Lizenz verfügbar, zusammen mit vortrainierten CLTs und einem Demonstrationsvideo.

4. Ergebnisse

Qualität: Auf dem GPT-2-Modell erreicht die Implementierung eine erklärte Varianz von ~0,8 bei einem L0 von 100, einen „Replacement Score" von ~0,8 und eine Graph-Komplettiertheit von ~0,95. Dies entspricht dem Stand der Technik.
Effizienz: Durch die Kombination von Quantisierung und Sharding konnte ein LLaMA 1B CLT mit einem Expansionsfaktor von 48 (~1,5 Mio. Features) erfolgreich trainiert werden.
Validierung: Die Pipeline wurde qualitativ validiert, indem bekannte Schaltkreise (z. B. „Greater-Than"-Mechanismus) und multilinguale Analysen erfolgreich reproduziert und visualisiert wurden.

5. Bedeutung und Ausblick

CLT-Forge senkt die Einstiegshürde für die mechanistische Interpretierbarkeit von LLMs im großen Maßstab erheblich. Es ermöglicht der Forschungscommunity, CLTs zu nutzen, um kompakte und interpretierbare Modelle zu erstellen, ohne proprietäre Frameworks (wie die von Anthropic) zu benötigen.

Zukünftige Arbeiten sollen sich auf folgende Punkte konzentrieren:

Integration von Attention-Attribution (derzeit sind Attention-Karten beim Berechnen der Graphen eingefroren).
Entwicklung noch effizienterer Architekturen, um den hohen Rechenaufwand von CLTs weiter zu senken.
Verbesserung der Optimierungsziele, da die direkte Optimierung des Replacement-Scores bisher instabil war.

Zusammenfassend stellt CLT-Forge einen entscheidenden Schritt hin zu reproduzierbarer, skalierbarer und zugänglicher mechanistischer Interpretierbarkeit dar.