🤖 machine learning

LLMs Without Deep Neural Networks: New Architecture, Benefits and Case Study

Dieses Paper stellt eine neuartige LLM-Architektur auf Basis von Radial-Basis-Funktions-Netzwerken (RBF-Netzwerken) vor, die eine globale Optimierung in einer einzigen geschlossenen Iteration erreicht, ohne dass ein Training tiefer neuronaler Netze erforderlich ist, und somit im Vergleich zu Standard-DNNs eine verbesserte Erklärbarkeit, Genauigkeit und Effizienz bietet.

Ursprüngliche Autoren: Vincent Granville

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Vincent Granville

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Eine „No-Training“-KI

Stellen Sie sich vor, Sie möchten eine Maschine bauen, die Fragen zu einem bestimmten Unternehmen (wie NVIDIA) beantworten kann.

Der alte Weg (Standard-KI): Sie füttern die Maschine mit Milliarden von Textseiten. Dann verbringen Sie Monate damit, sie zu „lehren“, indem Sie ihr Beispiele zeigen und ihre Fehler immer wieder korrigieren (das nennt man Training). Es ist wie der Versuch, einem Hund einen neuen Trick beizubringen, indem man ihn tausende Male wiederholt, bis er ihn schließlich beherrscht.
Der neue Weg (Das Modell dieses Papers): Der Autor, Vincent Granville, behauptet, eine Maschine gebaut zu zu haben, die gar nicht erst „gelernt“ werden muss. Anstatt durch Versuch und Irrtum zu lernen, betrachtet sie die Daten und findet in einem einzigen Schritt sofort die perfekte Antwort. Es ist, als würde man dem Hund eine Karte und einen Kompass geben; er muss den Weg nicht üben, weil er die Route sofort berechnen kann.

Wie es funktioniert: Der „Super-Index“ vs. die „Black Box“

Standard-KI-Modelle werden oft als „Black Boxes“ bezeichnet, weil selbst ihre Schöpfer nicht vollständig verstehen, wie sie zu einer Antwort gelangen. Sie verlassen sich auf komplexe Mathematik, die sich über die Zeit langsam verändert.

Dieses neue Modell ist erklärbar und funktioniert wie ein riesiger, intelligenter Bibliotheksindex:

Keine „Neuronen“: Es verwendet keine komplexen „Deep Neural Networks“ (DNNs), wie sie die Standard-KI nutzt.
Radial Basis Functions (RBF): Dies ist eine Methode, um zu messen, wie nah zwei Dinge beieinander liegen. Wenn Sie eine Frage stellen, sucht das Modell in seiner Textbibliothek nach den exakten Phrasen, die Ihrer Frage am „nächsten“ kommen.
Ein-Schritt-Berechnung: Anstatt zu raten und zu korrigieren, garantiert die Mathematik: Wenn die Antwort in der Bibliothek existiert, findet das Modell sie perfekt. Es löst das Rätsel in einem einzigen Durchgang.

Die Magie des „Benign Overfitting“ (Günstiges Überanpassung)

In der Standard-KI ist „Overfitting“ (Überanpassung) etwas Schlechtes. Es ist wie ein Schüler, der das Lehrbuch Wort für Wort auswendig lernt, aber bei der Prüfung versagt, weil die Fragen leicht anders gestellt sind.

Der Autor behauptet, sein Modell vollziehe eine sogenannte „Benign Overfitting“.

Die Analogie: Stellen Sie sich eine Wetterkarte vor. Standardmodelle zeichnen vielleicht glatte, verschwommene Linien zwischen den Städten und raten die Temperatur dazwischen. Dieses Modell zeichnet eine Karte, die exakt die Temperatur jeder Stadt trifft, die es kennt (perfekte Genauigkeit).
Der Clou: Obwohl es die Städte perfekt „auswendig lernt“, ist es überraschend gut darin, die Temperatur in der Mitte der ländlichen Gegend zu erraten (neue Daten). Der Autor behauptet, dass dies selbst funktioniert, wenn die Daten verrauscht oder unordentlich sind, indem es wie ein Filter wirkt, der das Signal reinigt.

Die Fallstudie: Der NVIDIA-Test

Der Autor testete dies an einem realen Datensatz von NVIDIA (einem Technologieunternehmen).

Die Aufgabe: Das nächste Wort in einem Satz vorhersagen oder verwandte Geschäftsbegriffe finden.
Das Ergebnis: Das Modell lieferte bei Daten, die es noch nie gesehen hatte, bei 96 % der Antworten richtig.
Vergleich: Der Autor behauptet, dass Standard-KI-Modelle bei ähnlichen spezialisierten Aufgaben normalerweise nur 30 % bis 55 % richtig lösen.
Effizienz: Während Standardmodelle möglicherweise Milliarden von „Parametern“ (internen Einstellungen) benötigen, um zu funktionieren, benötigt dieses Modell weniger als eine Million. Es ist, als würde man einen Taschenrechner anstelle eines Supercomputers für eine spezifische mathematische Aufgabe verwenden.

Wichtige Merkmale, die im Paper erwähnt werden

Deterministisch (Wiederholbar): Wenn Sie dieselbe Frage zweimal stellen, erhalten Sie jedes Mal exakt dieselbe Antwort. Standard-KI gibt oft jedes Mal leicht unterschiedliche Antworten (wie beim Würfelspiel). Dieses Modell ist wie eine Uhr; es ist präzise und vorhersehbar.
Keine „Trainingsphase“: Sie müssen nicht Wochen oder Monate damit verbringen, das Modell zu „trainen“. Sie füttern es einfach mit den Daten, und es ist sofort einsatzbereit.
Spezialisierter Fokus: Es ist nicht dafür konzipiert, Poesie zu schreiben oder allgemeine mathematische Probleme zu lösen. Es ist für Specialized Small Language Models (SLMs) gebaut. Betrachten Sie es als einen Facharzt, der alles über eine ganz bestimmte Krankheit weiß, anstatt als einen Hausarzt, der von allem ein bisschen weiß.
Drei-Wege-Tuning: Da das Modell bei den Daten, die es kennt, bereits zu 100 % perfekt ist, kann man die Standard-„Test“-Methode nicht zur Verbesserung nutzen. Stattdessen verwendet der Autor einen speziellen „Zwischenschritt“ (einen Optimierungssatz), um die Einstellungen anzupassen – ähnlich wie ein Koch, der die Sauce während des Kochens probiert, anstatt erst zu warten, bis sie serviert wird.

Was es NICHT ist (basierend auf dem Paper)

Es ist keine allgemeine KI, die Code schreiben oder über alles im Internet chatten kann. Es konzentriert sich auf spezifische Unternehmensdokumente.
Es verwendet keine „Attention“-Mechanismen (die komplexen Schichten der Standard-KI), um lange Geschichten zu lesen. Es konzentriert sich auf kurze, spezifische Textabschnitte (Multi-Tokens), um die richtige geschäftliche Antwort zu finden.
Das Paper behauptet nicht, dass dies bereits für medizinische Diagnosen, klinische Studien oder Echtzeit-Bilderkennung funktioniert; es konzentriert sich auf die Textvorhersage und numerische Daten innerhalb eines spezifischen Geschäftskontexts.

Zusammenfassung

Das Paper argumentt, dass wir keine massiven, teuren „Black Box“-neuronale Netze benötigen, um leistungsstarke KI für spezifische Geschäftsaufgaben zu bauen. Durch die Verwendung eines mathematischen Ansatzes namens Radial Basis Functions können wir ein System bauen, das schneller, günstiger, bei bekannten Daten perfekt genau und überraschend gut darin ist, neue Daten zu erraten – und das alles ohne den mühsamen „Trainingsprozess“, den die Standard-KI erfordert.

Technisches Resümee: LLMs ohne tiefe neuronale Netze

Problemstellung

Die Arbeit befasst sich mit den Einschränkungen von Standard-Large Language Models (LLMs), die auf tiefen neuronalen Netzen (Deep Neural Networks, DNNs) basieren, insbesondere der Abhängigkeit von „Black Box“-Parametern, den Rechenkosten des Trainings mittels Gradientenabstieg und dem Mangel an Erklärbarkeit. Während die jüngere Forschung Radialbasisfunktionen-Netzwerke (RBF-Netzwerke) als Alternativen untersucht hat, basieren viele bestehende Implementierungen immer noch auf DNNs zur Optimierung von Gewichten oder erfordern ein iteratives Training. Der Autor postuliert die Notwendigkeit einer Architektur, die eine hohe Genauigkeit und Erklärbarkeit erreicht, ohne den „mühsamen Trainingsschritt“ von Epochen und Gradientenabstieg, insbesondere für spezialisierte, domänenspezifische Anwendungen (Small Language Models oder SLMs) statt generischer, internetweiter Modelle.

Methodik

Die vorgeschlagene Architektur ist ein Standard-Exakt-RBF-Interpolator, der als geschlossene Lösung fungiert und somit die Notwendigkeit von DNNs vollständig eliminiert.

Kern der mathematischen Formulierung

Das Modell sagt einen Wert $f(x)$ unter Verwendung einer gewichteten Summe bekannter Werte an den Trainingsknoten $\beta_k$ voraus:
$f_{pred}(x) = \sum_{k=1}^{n} \omega_k(x) f(\beta_k) \exp[-\tau K(x, \beta_k)]$

Wesentliche technische Differenzierungsmerkmale sind:

Geschlossene Gewichte (Closed-Form Weights): Die Gewichte $\omega_k(x)$ sind normalisiert (die Summe ist 1) und hängen vom Input $x$ und dem Kernel $K$ ab. Im Gegensatz zu DNNs werden diese nicht via Backpropagation gelernt, sondern sind mathematisch abgeleitet.
Exakte Interpolation: Durch Setzen des Parameters $\tau \to \infty$ erreicht das Modell exakte Vorhersagen auf dem Trainingsdatensatz ( $f_{pred}(\beta_k) = f(\beta_k)$ ), unabhängig von anderen Parametern. Dies basiert auf Theorem 2.1, welches die punktweise Konvergenz sowohl für numerische als auch für Textdaten beweist.
Kernel-Adaption für Text:
- Für numerische Daten wird ein multivariater Gauß-Kernel verwendet.
- Für Textdaten nutzt der Kernel $K(x, \beta_k)$ ein Assoziationsmaß (z. B. erweitertes PMI) zwischen Textsegmenten. Der Input $x$ (Prompt) und $\beta_k$ (Korpus) werden als Sequenzen von Multi-Tokens (gestemmte Wörter oder Akronyme) behandelt, anstatt als Standard-Vektor-Embeddings.
- Das Modell verwendet eine gewichtete Summe, bei der Parameter $\theta_j$ die Bedeutung spezifischer Positionen in der Token-Sequenz zuweisen, was effektiv einen Attention-Mechanismus implementiert.

Implementierungsmerkmale

Keine Trainingsphase: Das Modell erfordert keinen iterativen Trainingszyklus. Es stützt sich auf ein „Drei-Wege“-Split: einen Trainingsdatensatz (für exaktes Matching), einen Optimierungssatz (zur Feinabstimmung von Hyperparametern wie $\tau$ und $\gamma$ ) und einen Validierungssatz.
Günstiges Overfitting (Benign Overfitting): Das Modell ist zu 100 % genau auf den Trainingsdaten (per Definition Overfitting), generalisiert jedoch gut auf ungesehene Daten. Der Autor führt dies darauf zurück, dass das Modell als Hochpassfilter oder Entrauschungsmechanismus fungiert, ähnlich dem Kriging in der 2D-räumlichen Interpolation, welcher lokale Variationen besser bewahrt als Standard-Glättungsmodelle.
Effizienzmechanismen:
- Auto-Destillation: Das System identifiziert und verwirft Begriffe in der Summation, bei denen der Input $x$ und der Knoten $\beta_k$ niemals enge Nachbarn sind, was die Rechenlast erheblich reduziert.
- Hashing vs. Vektoren: Anstatt hochdimensionaler Floating-Point-Embeddings verwendet das System verschachtelte Hashes für Textzeichenfolgen, was den Speicherbedarf reduziert.
- Determinismus: Das Modell ist vollständig deterministisch und replizierbar; es nutzt einen benutzerdefinierten NPG-Zufallsgenerator für kontrollierte Zufälligkeit (Temperatur) ohne die Unvorhersehbarkeit von Standard-PRNGs.

Zentrale Beiträge

DNN-freie Architektur: Die Arbeit behauptet, die erste Implementierung eines RBF-basierten LLMs zu sein, das keine DNNs zur Gewichtsberechnung benötigt und ein globales Optimum in einer einzigen Iteration erreicht.
Leistung auf dem exakten Trainingssatz: Theoretischer Beweis (Theorem 2.1) und empirische Demonstration, dass das Modell 100 % Genauigkeit auf den Trainingsdaten ohne iterative Optimierung erreicht.
Effizienz spezialisierter SLMs: Das Modell ist für spezialisierte Unternehmenskorpora konzipiert und nutzt weniger als 1 Million Parameter (speziell ca. 15.000 eindeutige Multi-Tokens im Fallbeispiel) im Vergleich zu Milliarden in generischen LLMs, was einen Effizienzgewinn von etwa dem 10.000-fachen bedeutet.
Erklärbarkeit: Im Gegensatz zu DNNs sind die Parameter des Modells (Positionen und Skalen) interpretierbar, und der Vorhersagemechanismus ist transparent, da er auf Nearest-Neighbor-Logik und expliziten Kernel-Funktionen beruht.

Ergebnisse

Die Arbeit präsentiert zwei primäre Fallstudien:

Numerische synthetische Daten:
- Setup: Ein Trainingsdatensatz mit $n=10^4$ Beobachtungen und $m=10^3$ Dimensionen, korrumpiert durch signifikantes Rauschen. 70 % der Trainingsdaten wurden für Tests verworfen.
- Ergebnis: Während das R-Quadrat auf den verrauschten Trainingsdaten auf 50 % sank, erreichte das Modell eine Genauigkeitsrate von 97 % auf dem rauschfreien Validierungssatz, was eine robuste Signalerholung in hohen Dimensionen demonstriert.
NVIDIA Text-Korpus (LLM-Aufgabe):
- Setup: Ein Korpus aus NVIDIA-Dokumenten mit $n=15.000$ eindeutigen Multi-Tokens der Größe $m=4$ . Aufgaben waren die Next-Token-Prediction und das Finden verwandter Multi-Tokens.
- Ergebnis:
  - Next-Token-Prediction: Erreichte eine korrekte Vorhersagerate von 96 % außerhalb des Trainingssets und übertraf damit die für ähnliche spezialisierte Aufgaben bei Standard-Transformer-Modellen zitierten 30–55 % deutlich.
  - Sparsity (Dünnbesetztheit): Eine Analyse zeigte, dass für 9.000 Abfragen jeweils weniger als 20 Knoten (von 15.000) pro Abfrage getriggert wurden, was das Potenzial der Auto-Destillation zur Reduzierung der Rechenkomplexität validiert.
  - Relevanz: In Fällen, in denen das exakte nächste Token nicht vorhergesagt wurde, waren die alternativen Vorschläge des Modells semantisch relevant (z. B. die Vorhersage von „2022“ statt „2021“ in einem Finanzkontext).

Bedeutung und Ansprüche

Die Arbeit positioniert diese Architektur als validierte Alternative zum aktuellen, von DNNs dominierten Paradigma, insbesondere für Small Language Models (SLMs), die auf strukturierte, domänenspezifische Antworten fokussiert sind, statt auf generatives Essay-Schreiben.

Effizienz: Der Autor behauptet, dass die Methode die Notwendigkeit teurer Trainingsepochen eliminiert und die Parameteranzahl um Größenordnungen reduziert, während sie die Genauigkeit in spezialisierten Domänen beibehält oder übertrifft.
Zuverlässigkeit: Das Modell bietet deterministische KI mit voller Replizierbarkeit und adressiert damit die Bedenken hinsichtlich der stochastischen Natur von Standard-LLMs.
Konvergenz der Forschung: Der Autor stellt fest, dass chinesische Forscher kürzlich unabhängig ähnliche RBF-Netzwerk-Konzepte entdeckt haben, was den Ansatz validiert, obwohl die spezifische Implementierung des Autors durch den vollständigen Ausschluss von DNNs für die Gewichtsberechnung einzigartig bleibt.
Zukünftiger Umfang: Es wird behauptet, dass die Methodik auf die Bildklassifizierung, Zeitreihenanalyse und Aufgaben jense_ von der Next-Token-Prediction, wie etwa Synonymensuche und Query-Vorschläge, anwendbar ist.

Die Arbeit schließt mit der Feststellung, dass es durch die Nutzung exakter Interpolation und spezialisierter Korpora möglich ist, den „Fluch der Dimensionalität“ und die Rechenengpässe von Standard-Transformern zu umgehen, um eine schnellere, erklärbarere und hochgradig genaue Alternative für Business Intelligence und spezialisierte KI-Anwendungen zu bieten.