💬 NLP

CoFrGeNet: Continued Fraction Architectures for Language Generation

Dieser Beitrag stellt CoFrGeNets vor, eine neuartige Architekturfamilie, die von Kettenbrüchen inspiriert ist und Standardkomponenten von Transformern durch parameter-effiziente Alternativen ersetzt, wodurch auf großen Sprachmodellen mit deutlich weniger Parametern und kürzeren Vortrainingszeiten wettbewerbsfähige oder überlegene Leistungen erzielt werden.

Ursprüngliche Autoren: Amit Dhurandhar, Vijil Chenthamarakshan, Dennis Wei, Tejaswini Pedapati, Karthikeyan Natesan Ramamurthy, Rahul Nair

Veröffentlicht 2026-05-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Amit Dhurandhar, Vijil Chenthamarakshan, Dennis Wei, Tejaswini Pedapati, Karthikeyan Natesan Ramamurthy, Rahul Nair

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen riesigen, unglaublich intelligenten Roboter, der Geschichten schreibt, Fragen beantwortet und Probleme löst. Dieser Roboter ist nach einem spezifischen Bauplan namens Transformer konstruiert. Seit Jahren gilt dieser Bauplan als Goldstandard, doch er ist schwer, teuer im Betrieb und erfordert eine enorme Menge an „Gehirnleistung" (Parametern), um zu funktionieren.

Das von Ihnen geteilte Papier stellt einen neuen Bauplan namens CoFrGeNet vor. Betrachten Sie dies als einen Weg, das Gehirn dieses Roboters mit einem anderen, effizienteren mathematischen Trick namens Kettenbrüche neu zu bauen.

Hier ist die Aufschlüsselung ihrer Entdeckung, einfach erklärt:

1. Das Problem: Der Roboter ist zu schwer

Aktuelle KI-Modelle (wie der berühmte GPT-2 oder Llama) verlassen sich zum Denken auf zwei Hauptmotoren:

Der Aufmerksamkeitsmotor (Attention Engine): Dieser hilft dem Roboter, auf vorherige Wörter zurückzublicken, um den Kontext zu verstehen (wie das Erinnern daran, was Sie vor fünf Sätzen gesagt haben).
Der Feed-Forward-Motor: Hier verarbeitet der Roboter tatsächlich Informationen und trifft Entscheidungen.

Diese Motoren sind leistungsstark, aber schwer. Sie benötigen Millionen von Zahnrädern (Parametern), um sich zu drehen, was den Roboter langsam und teuer im Bau macht.

2. Die Lösung: Eine „Leiter" statt einer „Mauer"

Die Autoren betrachteten ein altes mathematisches Konzept namens Kettenbruch. Stellen Sie sich einen Bruch vor, der nicht einfach aufhört, sondern wie eine Leiter weiter nach unten führt:
$a_0 + \frac{1}{a_1 + \frac{1}{a_2 + \dots}}$

In der Vergangenheit haben Menschen versucht, diese „Leiter"-Idee für einfache mathematische Probleme zu nutzen. Doch dieses Papier fragt: Können wir diese Leiter nutzen, um ein ganz neues Roboterhirn zu bauen?

Sie schufen CoFrGeNets (Generative Netze auf Basis von Kettenbrüchen). Anstatt die schweren, Standardmotoren zu verwenden, ersetzten sie diese durch diese mathematischen Leitern.

Die Magie: Diese Leitern können die gleiche Arbeit wie die schweren Motoren verrichten, aber mit weniger Zahnrädern.
Das Ergebnis: Sie bauten Modelle, die 33 % bis 50 % kleiner (weniger Parameter) sind als die ursprünglichen Riesen, doch sie funktionieren genauso gut oder manchmal sogar besser.

3. Die „Division"-Engpass (und wie sie ihn behoben)

Es gab einen Haken. Die Berechnung dieser Leitern erfordert viel Division (das Aufteilen von Zahlen). In der Computerhardware ist Division wie der Versuch, einen schweren Felsbrocken einen Hügel hinaufzuschieben – sie ist im Vergleich zur Multiplikation sehr langsam und energieintensiv.

Wenn Sie eine tiefe Leiter mit 100 Sprossen haben, macht eine Division an jeder Sprosse den Roboter unglaublich langsam.

Die Innovation:
Die Autoren erkannten, dass sie einen mathematischen Abkürzungsweg (genannt Konvergenten) nutzen konnten, um die gesamte Leiter auf einmal zu berechnen.

Alter Weg: 100 Divisionen durchführen, um die Antwort zu erhalten.
Neuer Weg: Die Mathematik einmal durchführen und nur eine einzige Division ganz am Ende ausführen.

Das ist, als würde man erkennen, dass man nicht jede einzelne Sprosse einer Leiter hinaufklettern muss, um oben anzukommen; man kann einfach einen riesigen Sprung mit einem berechneten Abkürzungsweg machen. Dies machte ihre Modelle viel schneller im Training und im Betrieb.

4. Wie sie es testeten

Sie bauten es nicht nur, sondern stellten es gegen die Riesen auf die Probe:

Die Testobjekte: Sie ersetzten Teile von GPT-2-xl (ein Modell mit 1,5 Milliarden Parametern) und Llama3 (ein Modell mit 3,2 Milliarden Parametern).
Das Training: Sie lehrten diese neuen Modelle mit massiven Mengen an Internettext (OpenWebText, GneissWeb und eine Mischung aus Dokumenten).
Die Ergebnisse:
- Kleiner: Die neuen Modelle waren deutlich kleiner.
- Schneller: Sie wurden schneller trainiert und liefen schneller.
- Intelligenter (oder gleichwertig): Bei Tests zum Leseverstehen, zur Beantwortung von Fragen und zu Schlussfolgerungsaufgaben entsprachen die kleineren CoFrGeNet-Modelle der Leistung der viel größeren Originalmodelle oder übertrafen sie sogar.

5. Der Trick mit dem „Trainingsplan"

Sie entdeckten zudem, dass man nicht einfach alle Knöpfe am Roboter gleichzeitig drehen kann. Sie erfanden einen speziellen „Trainingsplan" (einen schrittweisen Lernplan).

Die Analogie: Stellen Sie sich vor, Sie bringen einem Kind das Fahrradfahren bei. Sie lassen es am ersten Tag nicht gleichzeitig treten, lenken und balancieren. Sie beginnen mit Stützrädern, dann lassen Sie es lenken, dann treten.
Das Ergebnis: Indem sie zuerst die „tiefsten" Teile ihrer Leiter aktualisierten und langsam die anderen Teile freischalteten, lernten die Modelle stabiler und performten besser.

Zusammenfassung

Das Papier behauptet, dass wir durch den Austausch der Standard-„schweren" Teile von KI-Modellen gegen eine clevere, mathematisch basierte „Leiter"-Struktur kleinere, schnellere und günstigere KI-Modelle bauen können, die beim Schreiben und Denken genauso gut sind wie die massiven Modelle, die wir heute verwenden.

Was sie NICHT behauptet haben:

Sie haben nicht behauptet, dass dies für medizinische Diagnosen oder klinische Anwendungen funktioniert.
Sie haben nicht behauptet, dass dies KI-Sicherheitsprobleme löst (tatsächlich stellten sie fest, dass diese Modelle immer noch „halluzinieren" oder Fehler machen können, genau wie andere Modelle).
Sie haben nicht behauptet, dass dies sofort für den kommerziellen Einsatz bereit ist, sondern vielmehr, dass es eine vielversprechende neue Architektur für zukünftige Forschung und industrielle Arbeitsabläufe darstellt.

Technische Zusammenfassung: CoFrGeNet – Kettenbruch-Architekturen für die Sprachgenerierung

Problemstellung

Transformer haben sich als dominante Architektur für die Sprachgenerierung etabliert und stützen sich auf Multi-Head-Attention sowie Feed-Forward-Netzwerke (FFNs) mit großen versteckten Schichten. Diese Komponenten führen jedoch zu erheblichem Rechenaufwand, insbesondere hinsichtlich der Parameteranzahl und der Trainingszeit. Zwar wurden verschiedene Approximationen (z. B. sparse Attention, lineare Attention) vorgeschlagen, um die Effizienz zu verbessern, doch besteht weiterhin ein Bedarf an grundlegend verschiedenen Funktionsklassen, die diese Kernkomponenten ersetzen können, ohne die Leistung zu beeinträchtigen oder diese sogar zu steigern.

Vorherige Arbeiten führten CoFrNets (Continued Fraction Networks) für überwachtes Lernen ein, die eine leiterartige Struktur nutzen, die von Kettenbrüchen inspiriert ist. Die Anpassung dieser Architektur für generative Modellierung stellt jedoch drei spezifische Herausforderungen dar:

Mehrdimensionale Ausgaben: Generative Modelle müssen hochdimensionale Ausgaben produzieren, im Gegensatz zu den in überwachten Settings häufig vorkommenden skalaren Ausgaben.
Reichhaltigeres Funktionslernen: Die Architektur muss komplexe Repräsentationen erlernen, die für die Sequenzmodellierung geeignet sind.
Kausale Einschränkungen: Das Modell muss Parameter lernen, die nur von vorherigen Tokens abhängen, um eine kohärente Generierung zu gewährleisten.
Rechnerische Ineffizienz: Die Standard- $1/x$ -Nichtlinearität in Kettenbrüchen erfordert $d$ Divisionen für eine Leiter der Tiefe $d$ . Da Division auf moderner Hardware erheblich langsamer ist als Multiplikation, entsteht hier ein Engpass sowohl für das Training als auch für die Inferenz, insbesondere wenn die Tiefe ( $d$ ) und die Anzahl der Leitern ( $L$ ) zunehmen.

Methodik

1. Continued Fraction Generative Networks (CoFrGeNets)

Die Autoren schlagen CoFrGeNets vor, eine Familie von Architekturen, die Attention- und/oder FFN-Schichten in Transformer-Blöcken durch Komponenten ersetzen, die auf Kettenbrüchen basieren. Die zugrundeliegende Funktionsklasse ist definiert als:
$w_0x + \frac{1}{w_1x + \frac{1}{w_2x + \dots}}$
wobei $x$ die Eingabe ist und $w_k$ lernbare Parametervektoren darstellen.

2. Architektonische Komponenten

Der Artikel stellt spezifische Designs vor, um Transformer-Komponenten unter Beibehaltung kausaler Einschränkungen zu ersetzen:

Kausaler Attention-Ersatz (CAttnU und CAttnM):
- CAttnU: Verwendet univariate CoFrNet-Leitern, bei denen Eingaben transponiert werden, um Dimensionen über Tokens hinweg zu mischen. Um Kausalität zu erzwingen (Verhinderung des Leckens zukünftiger Tokens), setzt die Architektur obere Dreiecksmatrizen linearer Schichten innerhalb der Ensembles ein. Die elementweise Multiplikation der Ausgaben zweier Ensembles erzeugt Kreuzterme, was die Repräsentationskraft erhöht, ohne den kausalen Fluss zu verletzen.
- CAttnM: Nutzt $L$ CoFrNet-Leitern, um Eingaben in Embeddings der Sequenzlänge zu überführen, die als Attention-Gewichte dienen. Die Kausalität wird gewahrt, indem vor der Gewichtung der Wertematrix eine kausale Softmax-Funktion (konvexe Kombination nur vorheriger Tokens) angewendet wird.
FFN-Ersatz (Cffn):
- Da FFNs eine Feature-Mischung und keine Token-Mischung erfordern, verwendet die Architektur Ensembles von p-variaten Leitern (wobei $p$ die Embedding-Dimension ist), ohne die Eingabe zu transponieren.
- Eine lineare Schicht am Ende projiziert die Ausgabe zurück auf die Ziel-Dimension.
- Entscheidend ist, dass die Eingabe für diese Leitern eine gegate, nicht expandierte Darstellung ist ( $\alpha=1$ ), was die für Standard-Transformer-FFNs typische Parameterexplosion vermeidet, die oft einen Expansionsfaktor $\alpha \gg 1$ verwenden.

3. Effiziente Implementierung mittels Continuants

Um die rechnerische Ineffizienz wiederholter Divisionen zu adressieren, leiten die Autoren eine benutzerdefinierte Implementierung basierend auf Continuants (Polynome $K_k$ ) ab.

Vorwärtsdurchlauf: Anstatt die Bruchschicht schichtweise mit $d$ Divisionen zu berechnen, wird der Kettenbruch als Verhältnis zweier Polynome berechnet: $\tilde{f}(a) = K_{d-1} / K_d$ . Dies erfordert die rekursive Berechnung der Polynome unter Verwendung nur von Multiplikationen und Additionen, gefolgt von einer einzelnen Division ( $1/K_d$ ).
Rückwärtsdurchlauf: Die Autoren leiten geschlossene Ausdrücke für die Gradienten unter Verwendung der Eigenschaften von Continuants ab. Der Gradient $\frac{\partial \tilde{f}}{\partial a_k}$ wird als Verhältnis der quadrierten Continuants ausgedrückt.
Optimierung: Durch die einmalige Berechnung von $K_d$ und die Wiederverwendung von $1/K_d$ für alle Gradientenberechnungen wird die Anzahl der Divisionen von $d$ auf 1 reduziert. Dies beschleunigt sowohl Training als auch Inferenz erheblich.

4. Benutzerdefiniertes Trainings-Schedule

Die Autoren schlagen ein dyadisches Parameter-Update-Schedule vor, um das Training zu stabilisieren. Anstatt alle Parameter gleichzeitig zu aktualisieren:

Werden lineare Komponenten von Beginn an aktualisiert.
Werden Parameter in höheren Tiefen zunächst eingefroren.
Beginnen Updates für Parameter der Tiefe $i$ erst nach $t/2^i$ Iterationen (wobei $t$ die Gesamtzahl der Iterationen ist).
Dieser inkrementelle Ansatz verhindert Instabilität in den frühen Phasen des Trainings.

Hauptbeiträge

Neuartige Architekturen: Einführung von CoFrGeNet-Komponenten als Plug-in-Ersatz für Attention- und FFN-Schichten in Transformern, was eine neue Funktionsklasse für die generative Modellierung bietet.
Effiziente Gradientenformulierung: Herleitung benutzerdefinierter Gradientenformeln unter Verwendung von Continuants, die die Anzahl der Divisionsoperationen pro Leiter von $d$ auf 1 reduzieren und damit die Hardware-Effizienz drastisch verbessern.
Trainingsstabilität: Entwicklung eines benutzerdefinierten dyadischen Trainings-Schedules, das das Training tiefer Kettenbruch-Architekturen stabilisiert.
Empirische Validierung: Pre-Training und Evaluation an großskaligen Modellen (GPT2-xl und Llama3), die eine wettbewerbsfähige Leistung bei reduzierter Parameteranzahl demonstrieren.

Experimentelle Ergebnisse

Setup

Modelle: Die Experimente wurden an GPT2-xl (1,5 Mrd. Parametern) durchgeführt, das auf OpenWebText und GneissWeb vortrainiert wurde, sowie an Llama3 (3,2 Mrd. Parametern), das auf dem docling-Datenmix (2 Billionen Tokens) vortrainiert wurde.
Basislinien: Vergleiche umfassten die ursprünglichen Transformer, Dense Synthesizer und Sparse Attention.
Varianten: CoFrGeNet-F (FFN ersetzt), CoFrGeNet-A (Attention ersetzt) und CoFrGeNet (beide ersetzt).

Leistung

Downstream-Aufgaben (GLUE): CoFrGeNet-Modelle erzielten trotz 2/3 bis 1/2 der Parameter der Originalmodelle wettbewerbsfähige oder überlegene Genauigkeit bei Klassifizierungs-, Q&A- und Reasoning-Aufgaben. Beispielsweise übertraf CoFrGeNet-F (985 Mio.) das 1,5 Mrd. Parameter große GPT2-xl bei den meisten GLUE-Benchmarks.
Perplexität: Auf Sprachmodellierungs-Benchmarks (PTB, Wikitext, Lambada) erzielten CoFrGeNet-Varianten im Allgemeinen eine niedrigere Perplexität als die Basislinien-Transformer und andere effiziente Attention-Basislinien.
Effizienz:
- Trainingszeit: Die auf Continuants basierende Implementierung reduzierte die Trainingszeit erheblich im Vergleich zu einer „wörtlichen" Implementierung (CoFrGeNetB), die keine Continuants verwendete. Für GPT2-xl sank die Trainingszeit von ~203 Stunden (B) auf ~178 Stunden (CoFrGeNet).
- Inferenzzeit: Die Inferenzgeschwindigkeit verbesserte sich für die auf Continuants basierende Version im Vergleich zur wörtlichen Implementierung um fast eine Größenordnung.
- Durchsatz: Auf Llama3 zeigten CoFrGeNet-Varianten einen höheren Tokens/Tag-Durchsatz und reduzierte Gesamttrainingszeiten (z. B. trainierte CoFrGeNet-F in 6,6 Tagen im Vergleich zu 8,5 Tagen für die Basislinie).

Bedeutung und Behauptungen

Der Artikel behauptet, dass CoFrGeNets eine viable, parameter-effiziente Alternative zu Standard-Transformer-Komponenten darstellen. Durch die Nutzung der mathematischen Eigenschaften von Kettenbrüchen und die Optimierung ihrer Implementierung mittels Continuants demonstrieren die Autoren, dass:

Hochleistungs-Sprachmodelle mit deutlich weniger Parametern gebaut werden können.
Der rechnerische Engpass von Divisionsoperationen in Kettenbrüchen effektiv gemildert werden kann, was die Architektur für großskalige industrielle Workflows praktikabel macht.
Der Ansatz „Plug-and-Play" ist und minimale Änderungen an bestehenden Trainings- und Inferenzpipelines erfordert.

Die Autoren schließen, dass diese Arbeit den Grundstein für von Kettenbrüchen inspirierte generative Architekturen legt, was potenziell die Demokratisierung der KI ermöglicht, indem es Entitäten mit weniger Ressourcen erlaubt, hochwertige Modelle vorzutrainieren. Sie weisen jedoch darauf hin, dass diese Modelle inhärent keine Sicherheitsvorkehrungen besitzen und weiterhin anfällig für Halluzinationen und adversarial Attacks sind, was nahelegt, dass zukünftige Forschung sich darauf konzentrieren sollte, diese Herausforderungen innerhalb der spezifischen Funktionsform anzugehen.