⚡ electrical engineering

Unlocking Speech-Text Compositional Powers: Instruction-Following Speech Language Models without Instruction Tuning

Das Papier stellt SpeechCombine vor, einen neuartigen Ansatz, der ein instruktionsfolgendes Sprachmodell erstellt, indem es ein sprachangepasstes Modell direkt mit den Gewichtsdifferenzen eines instruktionsoptimierten Text-LLMs kombiniert, wodurch starke Kompositionsfähigkeiten erreicht werden, ohne dass massive Datensätze für das Sprachinstruktions-Tuning erforderlich sind.

Ursprüngliche Autoren: Congrui Du, Yang Zhang, Kaizhi Qian, Shiyu Chang

Veröffentlicht 2026-07-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Congrui Du, Yang Zhang, Kaizhi Qian, Shiyu Chang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen brillanten Bibliothekar (ein Text Large Language Model), der alles über Bücher weiß, komplexe Fragen beantworten kann und Geschichten schreiben kann. Dieser Bibliothekar hat jedoch noch nie ein Wort gesprochen; er kommuniziert ausschließlich durch Schreiben.

Doch nun wollen Sie den Bibliothekar lehren zu sprechen. Aber hier ist der Haken: Sprechen ist viel schwieriger als Schreiben. Ein einziger Satz wie „Wie geht es dir?“ besteht beim Schreiben aus fünf Wörtern, aber wenn er gesprochen wird, dauert er eine Sekunde und enthält hunderte winziger Klangeinheiten (Tokens). Wenn Sie versuchen würden, den Bibliothekar zu lehren zu sprechen, indem Sie ihn Millionen von Stunden Hörbüchern lesen lassen und ihn dann wieder lernen lassen, Fragen zu beantworten, könnte er all das Wissen, das er über Bücher besaß, dabei wieder verlieren. Dies ist das Problem des „katastrophalen Vergessens“ (catastrophic forgetting), dem aktuelle KI-Modelle gegenüberstehen.

Die Autoren dieser Arbeit, SPEECHCOMBINE, haben eine clevere Abkürzung gefunden. Sie haben den Bibliothekar nicht dazu gebracht, alles von Grund auf neu zu lernen. Stattdessen nutzten sie eine Technik namens „Model Merging“, was wie ein wissenschaftliches Rezept zum Mischen zweier verschiedener „Persönlichkeiten“ funktioniert.

So haben sie es gemacht, erklärt mit einer einfachen Analogie:

Die drei Zutaten

Stellen Sie sich vor, Sie haben drei verschiedene Versionen eines Charakters:

Der Basis-Bibliothekar: Das ursprüngliche, intelligente Text-Modell.
Der gesprächige Bibliothekar: Dasselbe Modell, aber nachdem es darauf trainiert wurde, Anweisungen zu befolgen (wie „Schreibe ein Gedicht“ oder „Löse ein Matheproblem“). Der Unterschied zwischen diesem und dem Basis-Bibliothekar ist eine „Richtung“ in seinem Gehirn, die Anweisungsbefolgung (Instruction Following) repräsentiert.
Der redselige Bibliothekar: Der Basis-Bibliothekar, aber nachdem er ausschließlich mit 30.000 Stunden Sprachdaten trainiert wurde (ohne Anweisungstraining). Der Unterschied zwischen diesem und dem Basis-Bibliothekar ist eine „Richtung“, die Sprachwissen repräsentiert.

Die magische Mischung

Anstatt ein neues Modell von Grund auf neu zu trainieren, nahmen die Forscher den redseligen Bibliothekar (der zwar zu sprechen weiß, aber nicht weiß, wie man komplexe Anweisungen befolgt) und „nähten“ einfach die „Anweisungsbefolgung“-Richtung des gesprächigen Bibliothekars an ihn.

Denken Sie es sich so:

Sie haben ein Auto, das auf der Straße fahren kann (Text-Modell), aber einen neuen Motor braucht, um auf dem Wasser zu fahren (Sprach-Modell).
Sie haben ein anderes Auto, das ein spezielles „GPS-Navigationssystem“ besitzt (Anweisungsbefolgung).
Anstatt ein ganz neues Amphibienfahrzeug von Grund auf neu zu bauen, nehmen Sie das wasserfahrende Auto und installieren einfach das GPS-Navigationssystem des straßenfahrenden Autos.

Das Ergebnis ist ein Modell, das sowohl auf Wasser fahren kann (sprechen) als auch komplexe Routen navigieren kann (Anweisungen befolgen), ohne dass es neu lernen muss, wie man fährt.

Was sie zu erreichen behaupten

Die Arbeit behauptet, dass diese einfache „Nähtechnik“ überraschend gut funktioniert, obwohl sie nur eine sehr geringe Menge an Sprachdaten (30.000 Stunden) verwendet haben, im Vergleich zu den Millionen von Stunden, die andere Modelle nutzen.

Es bewahrt die Gehirne: Das Modell hat nicht vergessen, wie man schlussfolgert, Fragen beantwortet oder Matheprobleme löst. Es hat den „schlauen“ Teil des Text-Bibliothekars behalten.
Es hat gelernt zu sprechen: Es hat gelernt, gesprochene Fragen zu verstehen und gesprochene Antworten zu generieren.
Es kann „laut denken“: Genau wie die Textversion des Modells vor der Antwort „nachdenken“ kann (ein Prozess namens „Long Thinking“), kann auch diese Sprachversion vor dem Sprechen „nachdenken“. Die Arbeit zeigt Beispiele, in denen das Modell ein Problem in seinem „Geist“ (Text) durchdenkt, bevor es die endgültige gesprochene Antwort generiert.
Es beherrscht Emotionen: Das Modell kann verstehen, ob ein Sprecher wütend oder glücklich ist, basierend auf seinem Tonfall, und es kann sogar Sprache mit spezifischen Emotionen erzeugen (wie einen Satz mit einem „überraschten“ Tonfall zu lesen).

Der Haken (Einschränkungen)

Die Arbeit gibt zu, dass das Modell noch nicht perfekt ist:

Formatierungsfehler: Manchmal wird das Modell verwirrt darüber, wann es zwischen Text und Sprache wechseln soll, weshalb die Forscher eine „Erzwingung“ (Force) nutzen mussten, um es auf Kurs zu halten.
Sprachqualität: Das Modell versteht den Rhythmus und die Tonhöhe der Sprache, aber es erfasst noch nicht die spezifische Timbre (die einzigartige Klangfarbe) einer menschlichen Stimme oder Akzente. Es ist wie ein Roboter, der zwar mit Emotionen sprechen kann, aber wie ein generischer Roboter klingt.
Externe Hilfe: Um zu verstehen, was ein Nutzer gesagt hat, greift das Modell immer noch auf ein externes Werkzeug (ein Speech-to-Text-System) zurück, um den Schall zuerst in Wörter umzuwandeln, bevor es darüber „nachdenken“ kann.

Zusammenfassung

Kurz gesagt: SPEECHCOMBINE beweist, dass man ein intelligentes Text-Modell nicht in Ozeanen von Sprachdaten ertränken muss, um es zum Sprechen zu bringen. Man muss lediglich seine Fähigkeit zu sprechen geschickt mit seiner bestehenden Fähigkeit zur Anweisungsbefolgung „verbinden“. Es ist ein viel effizienterer Weg, um eine sprechende KI zu bauen, die immer noch genauso klug ist wie ihr textbasiertes Gegenstück.

Technisches Resümee: Entfaltung der kompositorischen Fähigkeiten von Sprache–Text via SPEECHCOMBINE

Problemstellung

Das Instruction Tuning für Speech Language Models (SLMs) steht vor wesentlich größeren Herausforderungen als für textbasierte Large Language Models (LLMs). Während Text-LLMs einem Standard-Trainingsparadigma folgen, das aus Pre-Training und Instruction Tuning besteht, müssen SLMs eine neue Modalität (Sprache) neben einem breiteren Spektrum an Instruktionen meistern, einschließlich Sprachverständnis (z. B. Emotionserkennung) und Spracherzeugung (z. B. expressive Synthese).

Derzeitige Trainingsansätze für SLMs replizieren weitgehend die Text-LLM-Pipeline: Pre-Training auf massiven Sprachkorpora, gefolgt von Supervised Fine-Tuning (SFT) oder Reinforcement Learning (RL) auf Sprach-Instruktionsdatensätzen. Diese Strategie leidet unter zwei kritischen Engpässen:

Dateninflation: Sprachsequenzen sind signifikant länger als Textsequenzen (z. B. expandiert ein Textsatz mit 5 Token zu 60–200 Sprach-Token), was es schwierig macht, effektive Datensatzgrößen zu skalieren.
Katastrophales Vergessen: Das extensive Training auf Sprach-Tokens führt oft dazu, dass das Modell seine Wissens- und Denkfähigkeiten des Text-LLM-Basismodells verliert, wodurch das Modell gezwungen wird, diese Fähigkeiten in einer schwerer zu erlernenden Sprachrepräsentation neu zu erlernen.

Bestehende Versuche, dies abzumildern – wie etwa das Einfrieren des Text-LLMs und das Training lediglich von Adaptern – scheitern oft daran, sprachspezifische Instruktionen (Verständnis und Generierung) zu unterstützen, was das Modell auf textorientierte Aufgaben beschränkt.

Methodik: SPEECHCOMBINE

Das Paper schlägt SPEECHCOMBINE vor, ein Instruction-Following SLM, das ohne iteratives Instruction Tuning trainiert wird. Die Kernhypothese ist, dass die im Text-LLM kodierten Instruction-Following-Fähigkeiten direkt auf ein sprachangepasstes Modell übertragen werden können, indem man sich an den jüngsten Fortschritten beim Model Merging orientiert.

1. Framework und Gewichtskombination

Die Methode operiert in drei Stufen innerhalb des Parameterraums:

Basismodell ( $\theta_{base}$ ): Ein vortrainiertes Text-LLM.
Instruction-Tuned Modell ( $\theta_{inst}$ ): Das Text-LLM, das für das Befolgen von Instruktionen feinjustiert wurde.
Speech-Adapted Modell ( $\theta_{speech}$ ): Das Basismodell ( $\theta_{base}$ ), das einem einmaligen Durchgang von kontinuierlichem Pre-Training auf Sprachdaten unterzogen wurde.

Die finalen Modellparameter ( $\theta_{SC}$ ) werden durch die lineare Kombination der Gewichtsdifferenzen konstruiert:
$\theta_{SC} = \theta_{base} + \lambda \Delta\theta_{speech} + \Delta\theta_{inst}$
Wobei:

$\Delta\theta_{inst} = \theta_{inst} - \theta_{base}$ das Instruction-Following-Verhalten kodiert.
$\Delta\theta_{speech} = \theta_{speech} - \theta_{base}$ das Wissen über die Sprachmodalität erfasst.
$\lambda \in (0, 1]$ ein sanftes Gewicht zur Balance zwischen der Integration von Sprachwissen und der Bewahrung von Textfähigkeiten ist.

Entscheidender Unterschied: Das Sprach-Pre-Training muss von $\theta_{base}$ ausgehen, nicht von $\theta_{inst}$ . Der Start von dem instruction-getunten Modell würde die für eine erfolgreiche Verschmelzung erforderliche kompositorische Struktur stören.

2. Struktur der Pre-Training-Daten

Um die dualen Ziele der Vertrautmachung des Modells mit Sprach-Tokensequenzen und dem Verständnis von Sprachinformationen (Inhalt und Prosodie) zu erreichen, entwerfen die Autoren eine spezifische Pre-Training-Datenstruktur:
[S1 cap] [S1 text] [S1 speech] [S1 cap] ...

[cap]: Natürliche Sprachbeschreibungen von Sprachattributen (Inhalt, Tonhöhe, Rate, Betonung, Emotion).
[text]: Die exakte Transkription der Sprache.
[speech]: Diskrete Prosodie-Tokens, die die Sprachäußerung repräsentieren.

Die Einbeziehung von [text] neben [speech] ist essenziell, um die Übertragung der textbasierten Instruction-Following-Fähigkeiten zu verankern. Der [cap] Abschnitt wird randomisiert (erscheint davor, danach oder wird ausgelassen), um Generierung, Verständnis und Multi-Turn-Muster zu lehren.

3. Tokenisierung und Inferenz

Tokenisierung: Die Autoren verwenden ein Prosodie-Tokenisierungsschema (basierend auf Qian et al., 2025), das nur prosodische Merkmale (Tonhöhe, Dauer, Energie) kodiert und nicht die vollen Wellenformen, was die Token-Länge und Redundanz signifikant reduziert.
Inferenz: Das Modell folgt einem Template ähnlich dem Text-LLM, enthält jedoch [speech] Sektionen. Ein externes ASR-System transkribiert die Eingabesprache in den [text] Abschnitt. Techniken des "Format Forcing" werden eingesetzt, um die Generierung von Sprach-Tokens zu stabilisieren und sicherzustellen, dass das Modell die geforderte Ausgabestruktur einhält.
Long Thinking: Das Modell erbt "Long Thinking" (Chain of Thought) Fähigkeiten vom Text-LLM, indem es lediglich das Antwort-Template modifiziert, um einen <thought> Abschnitt einzuschließen, ohne zusätzliches Training.

Zentrale Beiträge

Instruction-Free SLM Training: Es wird demonstriert, dass ein SLM mit starken Instruction-Following-Fähigkeiten über Text, Sprachverständnis und Spracherzeugung hinweg mittels nur eines einzigen Durchgangs von Pre-Training (30k Stunden Daten) und Gewichtskombination aufgebaut werden kann, was die Notwendigkeit massiver Sprach-Instruction-Tuning-Datensätze eliminiert.
Kompositorische Generalisierung: Es wird gezeigt, dass Instruction-Following-Fähigkeiten ( $\Delta\theta_{inst}$ ) auf die Domäne der Sprache generalisieren, wenn sie mit der Sprachadaption ( $\Delta\theta_{speech}$ ) kombiniert werden, was es dem Modell ermöglicht, ungesehene sprachspezifische Aufgaben (z. B. Emotionserkennung, Betonungsgenerierung) ohne explizites Training für diese Aufgaben zu bewältigen.
Bewahrung von Text-Fähigkeiten: Die Strategie bewahrt erfolgreich die ursprünglichen Wissens- und Denkfähigkeiten des Text-LLMs und vermeidet das typische katastrophale Vergessen herkömmlicher SLM-Trainings-Pipelines.
Effizienz: Erreicht State-of-the-Art oder konkurrierende Leistungen mit weniger als 1 % der Trainingsdaten, die von existierenden SLMs (z. B. FUN-AUDIO-CHAT, das Millionen von Stunden nutzt) benötigt werden.

Experimentelle Ergebnisse

Die Autoren evaluieren SPEECHCOMBINE in zwei Kategorien von Aufgaben: Shallow Combination (textorientierte Aufgaben in der Sprachmodalität) und Deep Combination (sprachspezifische Aufgaben).

Textorientierte Aufgaben (QA, Reasoning): SPEECHCOMBINE performt auf Augenhöhe mit oder besser als die "ASR + Text LLM" Baseline (die kein Vergessen erleidet) und übertrifft andere SLMs, die auf massiven Datensätzen trainiert wurden (z. B. GLM-4-Voice, Step-Audio), signifikant. Es erzielt Top- oder Zweitplatzierungen in Datensätzen wie OpenbookQA, GSM8k und MLC.
Sprachverständnis (Emotion, Betonung):
- Emotion: Erreicht eine moderate Leistung, begrenzt durch den Mangel an Emotions-Captions in den Pre-Training-Daten.
- Betonungserkennung (Emphasis Detection): Erreicht State-of-the-Art Performance mit deutlichem Vorsprung gegenüber den Baselines, was die Fähigkeit des Modells belegt, Betonung aus prosodischen Hinweisen abzuleiten.
Spracherzeugung (Expressiv, Betonung):
- Expressive Generierung: Erreicht die zweitbeste Leistung bei der Emotionsgenerierung.
- Betonungsgenerierung (Emphasis Generation): Erreicht die beste Leistung unter vergleichbaren Modellen.
- Bemerkenswert ist, dass diese Fähigkeiten ohne aufgabenspezifisches Training entstehen, basierend rein auf dem kompositorischen Transfer von Fähigkeiten.
Ablationsstudien:
- $\lambda$ Gewicht: Ein optimaler Wert (z. B. $\lambda=0.85$ ) balanciert die Text-Bewahrung und den Spracherwerb.
- Datenstruktur: Das Entfernen von [cap] oder [text] verschlechtert die Leistung signifikant, was deren Notwendigkeit für den Wissenstransfer und die Verankerung bestätigt.
- Long Thinking: Die Aktivierung des Thinking-Modus verbessert die Leistung bei komplexen Reasoning- und Sprachaufgaben.

Bedeutung und Ansprüche

Das Paper behauptet, dass SPEECHCOMBINE eine neue, skalierbare Richtung für das SLM-Training bietet, die das "unnötige Leid ineffizienter Datenanhäufung" vermeidet. Durch die Nutzung von Model Merging erlaubt der Ansatz SLMs, rapide die entstehenden Fähigkeiten evolvierender Text-LLMs zu erben, ohne ein Re-Training auf massiven Sprachdatensätzen zu benötigen.

Die Autoren räumen Einschränkungen ein, darunter die Abhängigkeit von externem ASR für die Inferenz, das Fehlen einer Timbre-/Stimmqualitäts-Kodierung im aktuellen Tokenisierungsschema und die Notwendigkeit von Format Forcing zur Sicherstellung der Ausgabestabilität. Sie postulieren jedoch, dass dieses Paradigma eine robuste Grundlage bildet, um leistungsstarke, Instruction-Following Sprachmodelle zu bauen, die sowohl dateneffizient als auch fähig zu komplexem Reasoning sind.