🧬 biology

Mind the Gap No More: Achieving Zero-Gap Multimodal Integration via One Tokenizer

Dieser Artikel stellt „One Tokenizer" vor, eine native multimodale Architektur, die die geometrische Modalitätslücke schließt, indem sie alle Eingaben in einen einheitlichen Token-Raum abbildet, wodurch überlegenes tiefes Schlussfolgern ermöglicht wird und die Leistung traditioneller modularer Ansätze in DNA-Text-Aufgaben übertroffen wird.

Ursprüngliche Autoren: Yanan Li, Christina Yi Jin, Yuan Jin, Manli Luo, Tie Xu, Shuai Jiao, Wei He, Qing Zhang

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yanan Li, Christina Yi Jin, Yuan Jin, Manli Luo, Tie Xu, Shuai Jiao, Wei He, Qing Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Sprachbarriere" zwischen Datentypen

Stellen Sie sich einen brillanten Übersetzer (ein Large Language Model, oder LLM) vor, der perfektes Englisch spricht. Nun möchten Sie, dass dieser Übersetzer zwei völlig unterschiedliche Dinge gleichzeitig versteht:

Text: Eine Geschichte, die auf Englisch geschrieben ist.
DNA: Ein biologischer Code, bestehend aus Buchstaben (A, C, T, G).

Der alte Weg (Modulare Architektur):
Derzeit bewältigen die meisten KI-Systeme dies, indem sie zwei separate Spezialisten einstellen.

Spezialist A liest die DNA und schreibt eine Zusammenfassung in einem Geheimschrift.
Spezialist B liest die englische Geschichte.
Beide geben ihre Notizen dem Übersetzer.

Das Problem? Spezialist A und Spezialist B sprechen unterschiedliche „Sprachen" und schreiben in unterschiedlichen Stilen. Wenn sie ihre Notizen dem Übersetzer übergeben, muss dieser enorme Gehirnleistung darauf verwenden, nur herauszufinden, wie diese beiden unterschiedlichen Notizen zusammenpassen. Es ist wie der Versuch, einen quadratischen Pflock in ein rundes Loch zu kleben. Die KI muss die Unterschiede ständig „ausgleichen", was Energie verschwendet und oft zu Missverständnissen führt. Dieser Unterschied zwischen den beiden Notizen ist das, was die Autoren die „Modality Gap" (Modalitätslücke) nennen.

Die neue Lösung: „One Tokenizer"

Die Autoren schlagen eine radikale neue Idee vor: Hören Sie auf, Spezialisten einzustellen. Bringen Sie dem Übersetzer einfach bei, von Anfang an alles in derselben Sprache zu lesen.

Sie haben ein System namens One Tokenizer entwickelt. Anstatt einen separaten Spezialisten zu verwenden, um DNA zu übersetzen, haben sie DNA-„Wörter" einfach direkt in das eigene Wörterbuch des Übersetzers aufgenommen.

Wenn die KI nun eine DNA-Sequenz sieht, sieht sie keinen fremden Code, der übersetzt werden muss. Sie sieht ein einheimisches Wort, genau wie sie das Wort „Katze" oder „laufen" sieht.
Sowohl die DNA als auch der englische Text werden als exakt derselbe Typ von „Token" (ein digitales Wort) in das Gehirn der KI eingespeist.

Die „Zero-Gap"-Analogie: Die große Halle vs. die zwei Räume

Um zu verstehen, warum dies besser ist, stellen Sie sich das Gehirn der KI als ein Gebäude mit vielen Etagen (Schichten) vor.

Der alte Weg (Zwei Räume): Im ersten Stock wohnt die DNA in Raum A und der Text in Raum B. Dazwischen steht eine dicke, undurchdringliche Wand. Während die Information nach oben wandert, muss die KI ständig Brücken bauen, um die Räume zu verbinden. Selbst im obersten Stockwerk sind die beiden Gruppen noch leicht getrennt, und die KI ist erschöpft vom Versuch, diese Brücken zu bauen.
Der neue Weg (Eine große Halle): Mit One Tokenizer gibt es keine separaten Räume. DNA und Text befinden sich von der allerersten Stufe an in einer riesigen Großen Halle. Sie sind auf natürliche Weise miteinander vermischt. Da sie im selben Raum begonnen haben, bleiben sie bis zur obersten Etage zusammen. Es gibt keine Wand zu überbrücken, sodass sich die KI vollständig auf das Verstehen der Bedeutung der Geschichte und der DNA konzentrieren kann, anstatt Energie für Geometrie und Übersetzung zu verschwenden.

Was haben sie bewiesen?

Das Papier stellt zwei Hauptbehauptungen auf, die durch Mathematik und Experimente untermauert werden:

Der mathematische Beweis: Die Autoren haben mit Hilfe der Geometrie bewiesen, dass wenn man mit zwei separaten Vokabularen beginnt (der alte Weg), es immer eine Lücke zwischen ihnen geben wird, die schwer zu schließen ist. Wenn man jedoch ein gemeinsames Vokabular verwendet (der neue Weg), ist die Lücke mathematisch von Anfang an null und bleibt durch alle tiefen Schichten der KI hindurch null.
Das Experiment: Sie haben dies mit DNA und Text getestet (da DNA aus diskreten Buchstaben besteht, genau wie Text, was sie zu einem perfekten Testfall macht).
- Sie verglichen ihren „One Tokenizer" mit den alten „Spezialisten"-Methoden.
- Das Ergebnis: Der „One Tokenizer" war beim Schlussfolgern deutlich besser. Er riet nicht nur; er verstand die biologische Logik tatsächlich besser, weil er nicht davon abgelenkt wurde, zwei verschiedene Sprachen zum Zusammenpassen zu zwingen.

Das Fazit

Das Papier argumentiert, dass wir, um KI wirklich klug darin zu machen, verschiedene Datentypen (wie Biologie und Sprache) zu kombinieren, nicht versuchen sollten, sie am Ende zusammenzuflicken. Stattdessen sollten wir sie von Anfang an als ein einziges, einheitliches System aufbauen. Indem wir der KI ein einziges Wörterbuch für alles geben, entfernen wir die „Lücke", die sie verlangsamt, und ermöglichen ihr, tiefgründig und präzise zu schlussfolgern.

Kurz gesagt: Bauen Sie keine Brücke zwischen zwei Inseln; bauen Sie eine große Insel, auf der alles auf natürliche Weise zusammenleben kann.

Technische Zusammenfassung: Mind the Gap No More: Erreichung einer lückenlosen multimodalen Integration durch einen einzigen Tokenizer

Problemstellung

Die Entwicklung multimodaler Large Language Models (MLLMs) steht vor einer zentralen Herausforderung: die effektive Integration heterogener Eingaben (z. B. kontinuierlicher visueller Signale oder diskreter biologischer Sequenzen) in einen kohärenten Schlussfolgerungsmechanismus. Aktuelle Paradigma stützen sich überwiegend auf modulare Architekturen, bei denen modality-spezifische Encoder Repräsentationen extrahieren, die anschließend über cross-modale Projektoren in den gemeinsamen latenten Raum des LLM abgebildet werden.

Die Autoren identifizieren einen fundamentalen Engpass in diesem Ansatz: die Modality-Lücke. Da modality-spezifische Encoder unabhängig voneinander optimiert werden, kodieren sie Daten in isolierte Teil-Mannigfaltigkeiten innerhalb des latenten Raums. Diese geometrische Trennung zwingt das LLM, erhebliche Rechenkapazität für die „geometrische Rekonstruktion" (Ausrichtung disjunkter Räume) aufzuwenden, anstatt sich auf tiefgreifende cross-modale Schlussfolgerungen zu konzentrieren. Während neuere „Plug-and-Play"-Ansätze die Skalierung erleichtert haben, verschieben sie inhärent tiefe Interaktionen und bewahren strikte repräsentationale Grenzen bis zur erzwungenen Ausrichtung.

Methodik: One Tokenizer

Um die geometrischen Einschränkungen modularer Designs zu adressieren, schlägt die Arbeit One Tokenizer vor, eine native Architektur, die alle Modalitäten mithilfe eines vereinheitlichten Vokabulars direkt in einen gemeinsamen Token-Raum abbildet.

Theoretischer Rahmen

Die Autoren formalisieren die Modality-Lücke mithilfe eines statistischen Rahmens, der auf der normalisierten euklidischen Distanz (inspiriert von Cohens d) basiert, definiert als die Distanz zwischen den erwarteten Repräsentationen (Schwerpunkten) zweier Modalitäten, normalisiert durch ihre Intra-Modality-Varianz.

Lemma 1 (Lücke auf Embedding-Ebene): Die Autoren beweisen, dass modulare Architekturen aufgrund unabhängiger Initialisierung in separaten Teilräumen inhärent unter einer strikt positiven anfänglichen Lücke auf der Embedding-Ebene leiden. Im Gegensatz dazu treiben native Architekturen, die ein vereinheitlichtes Vokabular verwenden, die erwartete anfängliche Lücke mit zunehmender Vokabulargröße gegen null, da alle Tokens eine einzige zugrundeliegende Verteilung teilen.
Theorem 1 (Schichtweise Lückenerhaltung): Unter der Annahme der Lipschitz-Stetigkeit von LLM-Schichten demonstrieren die Autoren, dass der anfängliche geometrische Zustand das Verhalten tiefer Repräsentationen bestimmt. Die anfängliche Lücke in modularen Designs wird während des Vorwärtsdurchlaufs strikt beibehalten und erzeugt eine anhaltende Rechenbelastung. Umgekehrt garantiert die null-Lücken-Initialisierung der nativen Architektur einen intrinsisch integrierten Repräsentationsraum über alle versteckten Schichten hinweg, wodurch die Notwendigkeit einer nachträglichen geometrischen Ausrichtung entfällt.

Empirisches Testfeld: DNA-Text-Modellierung

Um diese theoretischen Behauptungen ohne die verwirrende Rauschkomponente der Tokenisierung kontinuierlicher Daten (z. B. Bilder) zu validieren, nutzen die Autoren DNA und Text als inhärent diskrete Modalitäten.

One Tokenizer Implementierung: Die Methode erweitert das Vokabular ( $V_{text}$ ) eines vortrainierten LLMs um ein diskretes DNA- $k$ -Mer-Vokabular ( $V_{DNA}$ ), um einen vereinheitlichten Raum $V = V_{text} \cup V_{DNA}$ zu schaffen. Beide Modalitäten werden direkt über eine einzige Embedding-Schicht in den gemeinsamen latenten Raum abgebildet, was null modality-spezifische Encoder oder Projektionsparameter erfordert.
Benchmarks: Die Studie vergleicht One Tokenizer mit:
1. Modulare Benchmarks: BioReason und ChatNT, die Projektionsschichten oder Q-Former verwenden, um genomische Merkmale mit Text auszurichten.
2. SeqCLIP: Eine verbesserte Benchmark, die kontrastives Lernen (InfoNCE-Verlust) auf DNA-Text-Paare anwendet, um vor der Generierung eine explizite semantische Ausrichtung zu erzwingen.

Hauptbeiträge

Theoretische Garantie: Die Arbeit beweist mathematisch, dass native Architekturen mit einem vereinheitlichten Vokabular einen null-Lücken-Zustand über alle Schichten hinweg erreichen und strikt beibehalten, wodurch die geometrische Engstelle, die modularen Designs inhärent ist, grundlegend eliminiert wird.
Kontrollierte Evaluation: Die Autoren etablieren ein rauschfreies Testfeld unter Verwendung diskreter Modalitäten (DNA und Text), um die architektonische Schlussfolgerungskapazität von Tokenisierungsartefakten zu isolieren, die mit kontinuierlichen Daten verbunden sind.
Empirische Überlegenheit: Umfassende Evaluierungen zeigen, dass die native Integration modulare Benchmarks, einschließlich solcher, die mit komplexen kontrastiven Ausrichtungsmechanismen verbessert wurden, konsistent übertrifft.

Experimentelle Ergebnisse

Die Autoren bewerteten die Modelle an zwei Benchmarks: dem Nucleotide Transformer (NT)-Benchmark (Klassifizierung) und dem KEGG-Abgeleiteten Biologischen Schlussfolgerungs-Datensatz (komplexe Schlussfolgerung).

Modality-Lücken-Analyse: Die empirische Analyse der latenten Embeddings über die Schichten hinweg bestätigt die theoretischen Grenzen. Modulare Architekturen weisen eine erhebliche Lücke auf der anfänglichen Schicht auf, die sich durch tiefe Schichten fortsetzt und das Modell zwingt, Tiefe für geometrische Rekonstruktion zu verschwenden. One Tokenizer hingegen behält eine nahtlose Integration mit einer signifikant reduzierten anfänglichen Lücke und hohen cross-modalen KNN-Anteilen über das gesamte Netzwerk hinweg bei.
Klassifizierungsleistung:
- Auf dem NT-Benchmark (18 Aufgaben) erreichte One Tokenizer den höchsten durchschnittlichen Matthews-Korrelationskoeffizienten (MCC) von 0,62 und übertraf modulare Benchmarks (BioReason: 0,54, ChatNT: 0,55) sowie das kontrastive SeqCLIP (0,56).
- Auf dem KEGG-Benchmark (37 Krankheitsklassen) erreichte One Tokenizer eine State-of-the-Art-Genauigkeit von 99,31 % und einen F1-Score von 95,24, was modulare Benchmarks, die Inkonsistenzen zwischen Genauigkeit und F1-Scores aufwiesen, signifikant übertraf.
Schlussfolgerungsleistung: Unter Verwendung eines LLM-as-a-Judge-Protokolls erreichte One Tokenizer einen Schlussfolgerungswert von 10,53 und verringerte die Lücke zur wahren oberen Grenze (14,03) im Vergleich zu modularen Benchmarks (z. B. SeqCLIP bei ca. 8,55) signifikant. Fallstudien zeigten, dass modulare Modelle häufig unter domäneninkonsistenter Schlussfolgerung oder der Abhängigkeit von oberflächlichen Assoziationen litten, während One Tokenizer kohärente, schrittweise biologische Deduktion ermöglichte.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die „Modality-Lücke" nicht lediglich eine ingenieurtechnische Herausforderung ist, die durch bessere Ausrichtungsmodule lösbar ist, sondern eine fundamentale strukturelle Einschränkung modularer Architekturen darstellt. Durch den Wechsel zu einem vereinheitlichten Vokabular-Paradigma argumentieren die Autoren, dass MLLMs eine „nahtlose Integration" innerhalb der nativen latenten Geometrie erreichen können.

Die Bedeutung dieser Arbeit liegt darin, zu demonstrieren, dass für diskrete Sequenzen die native Integration ein einfacherer und leistungsfähigerer Weg ist als der Aufbau komplexer Ausrichtungsmodule. Die Ergebnisse deuten darauf hin, dass die geometrische Einheit eines gemeinsamen Token-Raums es dem LLM ermöglicht, seine vortrainierten Zero-Shot- und logischen Schlussfolgerungsfähigkeiten direkt auf biologische Sequenzen zu erweitern, anstatt sie als „fremde" Entitäten zu behandeln, die eine Übersetzung erfordern. Die Autoren schließen, dass ein vereinheitlichter Tokenisierungsraum ein grundlegend überlegenes Framework für tiefgreifende biologische Schlussfolgerungen bietet.

Einschränkungen: Die Autoren stellen fest, dass ihre Studie diskrete symbolische Modalitäten nutzt, um das Tokenisierungsrauschen zu umgehen, das in kontinuierlichen Signalen (wie Vision) inhärent ist. Eine wichtige zukünftige Richtung besteht darin zu untersuchen, ob diese nahtlose Integration bestehen bleibt, wenn mit den Vektor-Quantisierungsartefakten kontinuierlicher Modalitäten umgegangen wird. Darüber hinaus charakterisieren die theoretischen Grenzen die Lückenentwicklung, erkunden jedoch noch nicht vollständig die latente Geometrie unter Regimen des Pre-Trainings in massivem Maßstab.