💬 NLP

Training-Free Adaptation of New-Generation LLMs using Legacy Clinical Models

Das Papier stellt Cross-Architecture Proxy Tuning (CAPT) vor, eine trainingsfreie Methode, die bestehende klinische Legacy-Modelle nutzt, um neue allgemeine LLMs der nächsten Generation durch Modellensembles und kontrastives Decoding an den klinischen Bereich anzupassen und dabei überlegene Leistung ohne kostspieliges Nachtrainieren zu erzielen.

Ursprüngliche Autoren: Sasha Ronaghi, Chloe Stanwyck, Asad Aali, Amir Ronaghi, Miguel Fuentes, Tina Hernandez-Boussard, Emily Alsentzer

Veröffentlicht 2026-04-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sasha Ronaghi, Chloe Stanwyck, Asad Aali, Amir Ronaghi, Miguel Fuentes, Tina Hernandez-Boussard, Emily Alsentzer

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das Dilemma „Neues Auto, alte Karte"

Stellen Sie sich vor, Sie haben gerade das neueste, schnellste und fortschrittlichste selbstfahrende Auto gekauft (ein KI-Modell der neuen Generation). Es ist unglaublich gut im Schlussfolgern, beim Verstehen komplexer Verkehrsmuster und beim Fahren in flüssigen Bahnen. Allerdings wurde es auf allgemeinen Straßenkarten trainiert und kennt nicht die spezifischen, kniffligen Abkürzungen, lokalen Gepflogenheiten oder versteckten Gefahren eines bestimmten Krankenhausgeländes.

In der realen Welt der Medizin verfügen Krankenhäuser über „Legacy"-Karten (ältere klinische KI-Modelle), die genau wissen, wie Ärzte Notizen verfassen, welche spezifischen Begriffe zu verwenden sind und welche Sicherheitsregeln für die Patientenversorgung gelten. Doch diese alten Karten sind in älteren, langsameren Autos festgefahren.

Normalerweise muss man, um das neue Auto sicher auf dem Krankenhausgelände fahren zu lassen, den Motor komplett umbauen und das Auto von Grund auf neu mit der alten Karte trainieren. Das wäre so, als würde man das neue Auto jedes Mal, wenn ein neues Modell erscheint, auseinandernehmen und neu aufbauen. Das ist unglaublich teuer, langsam und erfordert enorme Rechenleistung, die viele Krankenhäuser nicht besitzen.

Die Lösung: CAPT (Das „Co-Pilot"-System)

Die Autoren schlagen einen cleveren Trick vor, der Cross-Architecture Proxy Tuning (CAPT) genannt wird. Anstatt das Auto neu zu bauen, installieren sie einen Co-Piloten.

So funktioniert es:

Der Fahrer (Neues Modell): Das neue, leistungsstarke KI-Modell fährt das Auto. Es übernimmt das Lenken, die Geschwindigkeit und den allgemeinen Fluss des Gesprächs. Es sorgt für einen flüssigen und logischen Sprachgebrauch.
Der Co-Pilot (Altes klinisches Modell): Das ältere, spezialisierte medizinische KI-Modell sitzt auf dem Beifahrersitz. Es greift nicht ans Lenkrad. Stattdessen flüstert es dem Fahrer ständig Korrekturen zu.
Das Flüstern (Contrastive Decoding): Wenn der Fahrer im Begriff ist, etwas zu sagen, prüft der Co-Pilot: „Ist dies der richtige medizinische Begriff? Ist dies die sichere Art, dies zu formulieren?"
- Wenn der Fahrer sagt: „Prüfen Sie das Herz", und der Co-Pilot weiß, dass für diese spezifische Operation „Perfusion" (Durchblutung) zu prüfen ist, flüstert er: „Nein, sagen Sie 'Perfusion'."
- Das System tauscht dann die Wahl des Fahrers nur für dieses spezifische Wort gegen den Vorschlag des Co-Piloten aus und lässt den Fahrer dann weiterfahren.

Die Magie: Dies geschieht sofort, Wort für Wort, ohne dass das neue Auto jemals neu trainiert oder der Motor umgebaut werden muss. Es funktioniert sogar dann, wenn Fahrer und Co-Pilot leicht unterschiedliche „Sprachen" sprechen (unterschiedliche technische Vokabulare), da das System die Ratschläge des Co-Piloten in Echtzeit übersetzt.

Was sie herausfanden: Das „Beste aus beiden Welten"

Die Forscher testeten dieses System an sechs verschiedenen medizinischen Aufgaben, wie der Klassifizierung von Patientennotizen oder dem Verfassen von Behandlungsplänen. Hier ist, was passierte:

Die Konkurrenz schlagen: Das neue Auto mit dem Co-Piloten (CAPT) schnitt deutlich besser ab als das neue Auto allein, das alte Auto allein und sogar andere Methoden, die versuchten, Modelle zu kombinieren. Im Durchschnitt war es 17,6 % besser als die nächstbeste Methode.
Sicherheit geht vor: Hinsichtlich der Generierung von „risikofreiem" medizinischem Rat war CAPT viel sicherer als die anderen Methoden. Es machte weniger gefährliche Fehler.
Die Arbeitsteilung: Als sie genau betrachteten, welche Wörter das System wählte, sahen sie eine perfekte Aufteilung:
- Das neue Modell kontrollierte die Grammatik, die Satzstruktur und den allgemeinen Fluss (wodurch es natürlich klang).
- Das alte Modell kontrollierte die spezifische medizinische Fachsprache, die Sicherheitswarnungen und den Stil der klinischen Notiz (wodurch es klang, als hätte ein echter Arzt sie geschrieben).

Reale Beispiele aus dem Papier

Die Autoren zeigten zwei spezifische Beispiele, bei denen dieser „Co-Pilot" einen großen Unterschied machte:

Das Unterarm-Transplantat:
- Ohne CAPT: Das neue Modell schlug vor, „kardiale" (Herz-)Symptome bei einer Unterarm-Operation zu überwachen. Dies war eine allgemeine Vermutung.
- Mit CAPT: Der Co-Pilot korrigierte dies zu „Perfusion" (Durchblutung) und „distaler Extremitätenzirkulation". Er änderte auch einen vagen Zeitrahmen von „24–72 Stunden" in den präziseren „24–48 Stunden", den Ärzte tatsächlich verwenden.
Der Kaiserschnitt:
- Ohne CAPT: Das neue Modell schlug vor, nach „Infektionen" als Grund zu suchen, frühzeitig aufzustehen und zu laufen.
- Mit CAPT: Der Co-Pilot korrigierte dies zu „Thromboembolie" (Blutgerinnsel), was der tatsächliche medizinische Grund für das frühe Gehen nach dieser Operation ist. Er fügte auch spezifische Checks für die „Fundusheight" (ein Maß für die Gebärmutter) und „Lochien" (Nachblutungen nach der Geburt) hinzu, die für die Sicherheit entscheidend sind, aber im generischen Modell fehlten.

Das Fazit

Dieses Papier beweist, dass Krankenhäuser nicht Millionen von Dollar und Jahre an Zeit investieren müssen, um ihre KI jedes Mal neu zu trainieren, wenn ein neues, intelligenteres Modell veröffentlicht wird.

Durch die Verwendung von CAPT können sie ein brandneues, leistungsstarkes KI-Modell nehmen und ihm sofort die spezifische Sprache und die Sicherheitsgewohnheiten ihres älteren, spezialisierten medizinischen KI-Modells „beibringen". Es ist so, als würde man einem brillanten neuen Praktikanten einen erfahrenen Mentor an die Seite stellen, der ihm die richtigen Antworten ins Ohr flüstert, was zu einem Team führt, das sowohl hochintelligent als auch klinisch präzise ist, und das alles ohne einen einzigen Tag zusätzlichen Trainings.

1. Problemstellung

Die rasante Weiterentwicklung von Large Language Models (LLMs) im allgemeinen Bereich hat ihre Anpassung an den klinischen Bereich überholt. Während state-of-the-art-Modelle für den allgemeinen Bereich über überlegene Schlussfolgerungsfähigkeiten und Flüssigkeit verfügen, fehlt es ihnen oft an spezifischem klinischem Wissen, sie neigen zu Halluzinationen und halten sich nicht an klinische Dokumentationsstile.

Aktuelle Einschränkung: Die traditionelle Domänenanpassung (fortgesetztes Pretraining und Instruction Tuning) ist rechenintensiv und ressourcenaufwendig. Sie erfordert ein erneutes Training für jede neue Modellgeneration (z. B. der Übergang von MedPalm 1 zu MedPalm 2), was zu einer Verzögerung führt, in der Gesundheitseinrichtungen neue Modellfähigkeiten nicht ohne erhebliche Neuinvestitionen nutzen können.
Lücke in bestehenden Lösungen: Bestehende Methoden zur Modellensemblierung (wie UNiTE) und Proxy-Tuning-Techniken gehen im Allgemeinen von gemeinsamen Tokenizern oder überlappenden Fähigkeiten aus. Sie haben Schwierigkeiten, Modelle mit disjunkten Vokabularen (unterschiedliche Tokenizer) und asymmetrischen Fähigkeiten (z. B. ein neues allgemeines Modell versus ein älteres, spezialisiertes klinisches Modell) zu kombinieren.

2. Methodik: Cross-Architecture Proxy Tuning (CAPT)

Die Autoren schlagen CAPT vor, einen trainingfreien Ansatz zur Modellensemblierung zur Laufzeit, der ein neues allgemeines Modell der nächsten Generation ( $M_{new}$ ) mit einem veralteten klinischen Modell ( $M_{old-clin}$ ) und dessen Basis-Äquivalent ( $M_{old}$ ) kombiniert.

Kernmechanismus

CAPT arbeitet auf der Decodierungsstufe unter Verwendung von kontrastivem Decodieren, um klinische Signale selektiv einzufügen, während die Schlussfolgerungsfähigkeiten des allgemeinen Modells erhalten bleiben.

Kandidatenauswahl: In jedem Decodierungsschritt wählt das System die Top- $k$ Kandidatentokens (Standard $k=20$ ) aus dem neuen allgemeinen Modell ( $M_{new}$ ) aus.
Cross-Architecture-Mapping: Da $M_{new}$ $M_{n e w}$ und die klinischen Modelle disjunkte Vokabulare haben, verwendet CAPT eine Decode-Retokenize-Mapping-Funktion ( $f$ $f$ ):
- Ein Token aus dem Vokabular von $M_{new}$ wird in seine String-Form decodiert.
- Der String wird unter Verwendung des Tokenizers des klinischen Modells ( $T_{old}$ ) re-tokenisiert, um das entsprechende Token im klinischen Vokabular zu finden.
Anpassung der Log-Wahrscheinlichkeiten: Die Log-Wahrscheinlichkeit jedes Kandidatentokens wird unter Verwendung eines „Offsets für klinisches Wissen" angepasst. Dieser Offset ist die Differenz zwischen den Log-Wahrscheinlichkeiten des klinischen Modells ( $M_{old-clin}$ $M_{o l d - c l in}$ ) und seines untrainierten Basismodells ( $M_{old}$ $M_{o l d}$ ):
$s(i) = \log p_{new}(i | x_{1:t}) + \alpha \left( \log p_{old-clin}(f(i) | x_{1:t}) - \log p_{old}(f(i) | x_{1:t}) \right)$
- Dabei ist $\alpha$ ein Skalierungsfaktor (auf 1,0 gesetzt).
- Diese Differenz isoliert das während des klinischen Fine-Tunings gelernte Wissen und entfernt die allgemeine Sprachverzerrung des Basismodells.
Auswahl: Das Token mit dem höchsten angepassten Score wird ausgewählt und an den Kontext angehängt.

Implementierungsdetails

Verwendete Modelle:
- $M_{new}$ : Qwen3-30B (Neues allgemeines Modell der nächsten Generation).
- $M_{old-clin}$ : MeLLaMA-13B-chat (Veraltetes klinisches Modell).
- $M_{old}$ : LLaMA-2-13B-base (Basis-Äquivalent).
Einschränkungen: Die Methode unterstützt Black-Box-APIs, bei denen nur Top- $k$ -Log-Wahrscheinlichkeiten offengelegt werden, was sie für den Einsatz praktikabel macht.

3. Hauptbeiträge

Trainingfreie Anpassung: Einführung von CAPT, das die Wiederverwendung veralteter, domänenangepasster Modelle ermöglicht, um neue allgemeine Modelle ohne zusätzliches Training oder Fine-Tuning anzupassen.
Unterstützung disjunkter Vokabulare: Überwindung der architektonischen Barriere bei der Kombination von Modellen mit unterschiedlichen Tokenizern durch die Decode-Retokenize-Mapping-Funktion, was die Integration älterer klinischer Modelle in moderne Architekturen ermöglicht.
Selektive Integration: Es wird gezeigt, dass CAPT Wahrscheinlichkeiten nicht einfach mittelt, sondern Tokens selektiv verstärkt, die mit klinischen Entscheidungsfindungen und Dokumentationsstilen zusammenhängen, während das allgemeine Modell die Kontrolle über die linguistische Struktur und Flüssigkeit behält.

4. Ergebnisse

Die Methode wurde an sechs klinischen Aufgaben (3 Klassifizierung, 3 Textgenerierung) unter Verwendung von Metriken wie Macro-F1, Genauigkeit, MedHELM LLM-Jury-Scores und MedVAL risikofreien Prozentwerten evaluiert.

Leistungssteigerungen:
- CAPT schnitt bei allen Metriken konsistent besser ab als die einzelnen Modelle und state-of-the-art-Baselines (UniTE und Proxy Tuning).
- Durchschnittliche Verbesserung: +17,6 % gegenüber UniTE und +41,4 % gegenüber Proxy Tuning über alle Metriken hinweg.
- Sicherheit: Signifikante Verbesserungen bei „risikofreien" Ausgaben (z. B. +13,94 % gegenüber UniTE bei der Textgenerierung), was auf eine bessere klinische Sicherheit hinweist.
Token-Ebenen-Analyse:
- Einfluss des klinischen Modells: Starke Beeinflussung von Tokens im Zusammenhang mit klinischer Entscheidungsfindung (z. B. Überschriften, Bewertungsbegriffe) und Dokumentationsstil (z. E. Abschwächungen, Berichtswörter).
- Einfluss des allgemeinen Modells: Beibehaltung der Kontrolle über linguistische Struktur, Formatierung und allgemeine Morpheme.
- Medizinisches Wissen: Es wurden nahezu keine Verschiebungen für Kernbegriffe der medizinischen Terminologie festgestellt, was darauf hindeutet, dass beide Modelle bei Fakten übereinstimmen, CAPT jedoch verbessert, wie dieses Wissen ausgedrückt wird, um klinischen Konventionen zu entsprechen.
Ärztliche Fallstudien:
- Zwei fachzertifizierte Ärzte bewerteten die Ausgaben und stellten fest, dass CAPT die klinische Spezifität (z. B. Änderung von „Agenten" zu „Analgetika"), die kontextuelle Genauigkeit (z. B. Korrektur von Überwachungszeiträumen von 24–72 h auf 24–48 h) und sicherheitskritische Empfehlungen (z. B. Betonung von Anzeichen eines postpartalen Blutverlusts gegenüber generischen Infektionszeichen) verbesserte.

5. Bedeutung und Auswirkung

Ressourceneffizienz: CAPT bietet Gesundheitseinrichtungen mit begrenzten Rechenressourcen einen gangbaren Weg, modernste LLMs zu übernehmen, ohne die prohibitiven Kosten eines erneuten Trainings tragen zu müssen.
Modulare Anpassung: Es verwandelt veraltete klinische Modelle in wiederverwendbare „Adapter", die mit zukünftigen Foundation-Modellen kombiniert werden können, und beschleunigt so die Übertragung von KI-Fortschritten in klinische Arbeitsabläufe.
Überbrückung der Lücke: Es adressiert effektiv die „Verzögerung" zwischen den Fähigkeiten allgemeiner Modelle und ihrer klinischen Anwendbarkeit und stellt sicher, dass neue Modelle die Sicherheit und stilistischen Nuancen etablierter klinischer KI erben, ohne ihre Schlussfolgerungskraft zu opfern.
Einschränkungen & Zukünftige Arbeiten: Die Methode erhöht den Inferenz-Compute-Bedarf (erfordert drei Modell-Passes) und kann übermäßig erklärende Stile von allgemeinen Modellen erben. Zukünftige Arbeiten umfassen eine adaptive Skalierung des Anpassungskoeffizienten ( $\alpha$ ) basierend auf der Expertise des Benutzers und die Erforschung kleinerer klinischer Modelle zur Reduzierung der Latenz.

Zusammenfassend stellt CAPT einen Paradigmenwechsel von „erneutes Training für jedes Modell" hin zu „Anpassung durch Ensemblierung" dar und bietet eine praktische, hochleistungsfähige Lösung für den Einsatz klinischer NLP.