🤖 machine learning

The Moving Target: A Longitudinal Audit of Trustworthiness Drift Across Twelve Checkpoints of Open-Source Chat LLMs

Dieses Paper demonstriert durch ein longitudinales Audit von vier Open-Source-LLM-Release-Linien, dass Vertrauenswürdigkeitswerte über aufeinanderfolgende Checkpoints hinweg signifikant driften, und argumentiert, dass solche Metriken als veraltete, checkpoint-spezifische Artefakte behandelt werden müssen, statt als statische Attribute, die ohne Neumessung fortgeführt werden.

Ursprüngliche Autoren: Zhichao Fan, Yanhang Li, Zexin Zhuang, Xian Sun, Yingshuo Wang

Veröffentlicht 2026-07-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhichao Fan, Yanhang Li, Zexin Zhuang, Xian Sun, Yingshuo Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie kaufen ein Auto einer vertrauenswürdigen Marke wie „Mistral“ oder „Qwen“. Der Verkäufer überreicht Ihnen eine Broschüre (ein „Model Card“), auf der steht: „Dieses Auto ist zu 90 % sicher und zu 95 % ehrlich“, basierend auf Tests, die er letztes Jahr durchgeführt hat.

Stellen Sie sich nun vor, dass dieselbe Marke sechs Monate später eine leicht aktualisierte Version desselben Autos veröffentlicht. Sie haben den Namen nicht geändert, aber sie könnten vielleicht den Motor optimiert, die Software aktualisiert oder sogar die Reifen ausgetauscht haben.

Die große Frage, die dieses Paper stellt, ist: Können Sie der alten Broschüre noch vertrauen? Gilt der Wert „90 % sicher“ automatisch auch für die neue Version?

Die Autoren sagen: Nein. Absolut nicht.

Hier ist die Aufschlüsselung ihrer Ergebnisse unter Verwendung einfacher Analogien:

1. Das Problem des „beweglichen Ziels“

Die Forscher untersuchten vier große Open-Source-KI-Familien (Yi, Qwen, Mistral und Gemma). Für jede Familie überprüften sie drei aufeinanderfolgende Versionen (Generation 1, 2 und 3).

Betrachten Sie diese KI-Modelle wie Köche in einer Küche.

Generation 1 ist das erste Rezept des Kochs.
Generation 2 ist derselbe Koch, aber vielleicht hat er die Gewürzmischung, die Garzeit oder die Art der Pfanne geändert.
Generation 3 ist wieder derselbe Koch, vielleicht mit einem neuen Assistenten oder einem anderen Ofen.

Obwohl der Name des Kochs auf der Speisekarte gleich geblieben ist, ändert sich das Essen, das er serviert, doch. Das Paper fand heraus, dass sich die „Vertrauenswürdigkeit“ der KI zwischen diesen Versionen signifikant verschiebt. Es ist so, als würde die „95 % köstlich“-Bewertung eines Kochs vom letzten Monat auf 85 % fallen oder auf 98 % springen, nur weil er sein Rezept leicht verändert hat.

2. Der „Drift“ ist real und groß

Das Team maß, wie stark die Leistung der KI zwischen den Versionen „driftete“ (sich bewegte).

Sie fanden heraus, dass die durchschnittliche Verschiebung 8,00 Prozentpunkte betrug.
Um dies einzuordnen: Sie verglichen diese Verschiebung mit dem, was man erwarten würde, wenn die KI einfach wie bei einem Münzwurf zufällig entscheiden würde. Die tatsächliche Verschiebung war 3,6 Mal größer als das zufällige Rauschen.

Die Analogie: Stellen Sie sich vor, Sie versuchen, das Zentrum einer Dartscheibe zu treffen. Wenn sich die Scheibe selbst bei jedem Wurf wild bewegt (selbst wenn Sie vom selben Punkt aus werfen), sagt Ihnen Ihr gestriges Ergebnis nichts über Ihr heutiges Ergebnis. Das Paper beweist, dass sich die „Dartscheibe“ (das Verhalten der KI) viel stärker bewegt, als wir dachten.

3. Das „Zertifikat“ ist abgelaufen

Derzeit geben Unternehmen oft einen Vertrauenswert auf einem Model Card an und gehen davon aus, dass dieser für die gesamte „Release-Linie“ gültig bleibt.

Das Urteil des Papers: Ein Vertrauenswert ist kein dauerhaftes Zertifikat wie ein Führerschein. Er ist eher wie ein Wetterbericht.
Wenn Sie einen Wetterbericht lesen, der von letztem Dienstag sagt: „Es ist sonnig“, ist dieser Bericht nutzlos, um zu entscheiden, was Sie heute anziehen sollen. Sie benötigen einen neuen Bericht für die Bedingungen von heute.

Die Autoren argumentieren, dass jedes Mal, wenn eine neue Version einer KI veröffentlicht wird, die alten Vertrauenswerte als abgelaufen zu betrachten sind. Man kann sie nicht ohne erneute Tests auf die neue Version übertragen.

4. Die Lösung: Das „Longitudinale Model Card“

Da sich die Werte so stark ändern, schlagen die Autoren eine neue Art der Berichterstattung vor, die sie ein Longitudinales Model Card nennen.

Denken Sie hierbei eher an ein Fitness-Tracker-Protokoll als an ein einzelnes Foto.

Der alte Weg: Ein Foto von Ihnen heute, das besagt: „Ich wiege 68 kg.“ (Dies sagt Ihnen nicht, ob Sie seit letzter Woche zugenommen oder abgenommen haben).
Der neue Weg (Longitudinales Card): Ein Protokoll, das sagt: „Am 1. Jan wog ich 68 kg. Am 1. Feb wog ich 70 kg. Die Änderung war +2 kg.“

Dieses neue Card würde Folgendes enthalten:

Den spezifischen „Schnappschuss“ (Checkpoint): Genau welche Version der KI getestet wurde.
Das Datum: Wann der Test stattfand.
Den Drift: Wie stark sich der Wert im Vergleich zur vorherigen Version verändert hat.

5. Was dies nicht bedeutet

Das Paper ist sehr vorsichtig bei dem, was es nicht behauptet:

Es geht nicht um „Besser“ oder „Schlechter“: Die KI ist nicht zwangsläufig „dümmer“ oder „sicherer“ geworden. Sie hat sich nur verändert. Manchmal stieg der Wert, manchmal sank er. Der Punkt ist, dass dies unvorhersehbar ist.
Es geht nicht um geschlossene KIs: Diese Studie untersuchte nur Open-Source-Modelle, die jeder herunterladen kann. Sie sagt nichts über die geheimen, geschlossenen Modelle großer Unternehmen aus (wie die, mit denen Sie auf einer Website chatten), da diese schwerer zu testen sind.
Es geht nicht um „magische“ Lösungen: Das Paper bietet keinen Weg an, die Veränderung der KI zu stoppen. Es sagt lediglich: „Hören Sie auf so zu tun, als würde sie sich nicht verändern.“

Das Fazit

Wenn Sie eine Open-Source-KI kaufen, regulieren oder nutzen, gehen Sie nicht davon aus, dass der Vertrauenswert in der Broschüre auch für die neue Version gilt. Die KI ist ein „bewegliches Ziel“. Sie müssen jede neue Version neu testen, um zu wissen, was Sie tatsächlich bekommen. Der alte Wert ist nur ein veraltetes Artefakt, keine Garantie.

Technisches Resümee: Das bewegliche Ziel – Ein longitudinaler Audit der Vertrauenswürdigkeits-Drift

1. Problemstellung

Aktuelle Praktiken bei der Berichterstattung über die Vertrauenswürdigkeit von Large Language Models (LLMs) behandeln Benchmark-Scores oft als statische, übertragbare Zertifikate. Model Cards zitieren häufig Vertrauens-Benchmarks (z. B. TruthfulQA, BBQ), ohne den spezifischen Messzeitpunkt oder die Checkpoint-Version zu protokollieren. Infolgedessen werden diese Scores routinemäßig auf nachfolgende Checkpoints derselben Release-Linie (z. B. von „Mistral-7B-Instruct v0.1“ zu „v0.3“) übertragen, unter der impliziten Annahme, dass sich das Verhalten des Modells nicht verändert hat.

Dieses Paper untersucht, ob diese Annahme Bestand hat. Es postuliert, dass für Open-Source-Release-Linien, bei denen sich Pretraining-Mischungen, Instruction-Tuning-Rezepte, Tokenizer und Modellskalen zwischen den Generationen ändern, ein Vertrauens-Score, der zum Zeitpunkt $t$ gemessen wurde, für einen nachfolgenden Checkpoint zum Zeitpunkt $t+\Delta$ möglicherweise nicht mehr gültig ist. Die zentrale operative Frage lautet: Wird ein punktueller Vertrauens-Score als übertragbares Zertifikat gelesen, obwohl sich der zugrunde liegende Checkpoint bereits bewegt hat?

2. Methodik

2.1 Audit-Umfang und Design

Die Studie führt einen longitudinalen Audit von vier Open-Source-Chat-LLM-Release-Linien durch: Yi, Qwen, Mistral und Gemma.

Generationen: Jede Release-Linie wird über drei aufeinanderfolgende öffentliche Generationen (G1 $\to$ G2 $\to$ G3) evaluiert, was zu 12 distinkten Checkpoints führt.
Benchmarks: Ein fester Korb aus fünf Vertrauens-Benchmarks wird verwendet, der drei Dimensionen abdeckt:
- Wahrhaftigkeit (Truthfulness): TruthfulQA-MC1.
- Fairness: BBQ-mixed (gemischte ambivalente/disambiguierte MCQs) und CrowS-Pairs-FC (Forced-Choice-MCQs).
- Sicherheit (Safety): ToxiGen-AT (KI-annotierter Toxizitäts-Schwellenwert) und XSTest-TD (Typ-abgeleiteter Refusal-Proxy).
Prompting: Jeder Benchmark wird unter drei distinkten Prompt-Templates (variierende Oberflächenform und Extraktionsstrategie) evaluiert, um die Sensitivität gegenüber der Konfiguration zu berücksichtigen.
Sampling: Eine feste, gecashte Teilmenge von 200 Items pro Benchmark wird über alle 12 Checkpoints hinweg wiederverwendet, um Paarvergleiche zu gewährleisten.
Evaluationsprotokoll: Die Modelle werden in 4-Bit NF4-Quantisierung mit Greedy-Decoding geladen. Die Scores werden als Mittelwert über die drei Prompt-Templates für jeden Checkpoint berechnet.

2.2 Metriken und statistischer Rahmen

Die primäre Metrik ist die Score Drift Rate (SDR), definiert als die absolute prozentuale Differenz der Scores zwischen benachbarten Generationen:
$|SDR| = \frac{1}{|F||B||G_{trans}|} \sum |(s_{f,g',b} - s_{f,g,b})|$
wobei $F$ die Menge der Release-Linien, $B$ den Benchmark-Korb und $G_{trans}$ die benachbarten Übergänge darstellt.

Um zu bestimmen, ob die beobachtete Drift statistisch signifikant oder lediglich Sampling-Rauschen ist, konstruieren die Autoren eine gepoolte No-Drift-Referenz-Nullhypothese:

Mechanismus: Für jedes $(f, b, t)$ -Tripel wird eine gepoolte Erfolgsrate über alle Generationen hinweg berechnet. In 5.000 Bootstrap-Iterationen werden neue Scores simuliert, indem aus einer Binomialverteilung gezogen wird, die auf dieser gepoolten Rate basiert, wobei benachbarte Generationen als unabhängig behandelt werden.
Zweck: Dies generiert eine Verteilung von $|SDR|$, die unter der „No-Drift“-Hypothese zu erwarten wäre. Das beobachtete Aggregat wird mit dem 99,9. Perzentil dieser Null-Verteilung verglichen.

3. Kernergebnisse

3.1 Primärer Endpunkt: Signifikante Drift

Die Studie stellt fest, dass die Vertrauenswürdigkeits-Scores über Generationen hinweg signifikant driften und weit über das hinausgehen, was durch Sampling-Rauschen zu erwarten wäre.

Beobachtete Drift: Die mittlere absolute Drift zwischen benachbarten Generationen ($|SDR|$) beträgt 8,00 Prozentpunkte (pp) (95 % KI: [7,57, 9,12]).
Null-Vergleich: Die gepoolte No-Drift-Referenz-Null hat einen Mittelwert von 2,22 pp und ein 99,9. Perzentil von 3,30 pp.
Signifikanz: Die beobachtete Drift ist 3,60 Mal größer als der Null-Mittelwert und liegt weit außerhalb des oberen $10^{-3}$ -Tails der Null-Verteilung ( $p < 2 \times 10^{-4}$ ).
Robustheit: Dieses Ergebnis hält auch unter strikter Bewertung (nicht parstbare Outputs werden als falsch gezählt, was die Drift auf 8,93 pp erhöht) und über verschiedene Perturbationen hinweg (Weglassen spezifischer Benchmarks, Release-Linien oder Low-Parse-Zellen) stand, wobei die Drift im Bereich von [6,36, 9,43] pp bleibt.

3.2 Explorative Diagnostik

Regressionsrate: 47,5 % der Übergänge zwischen benachbarten Generationen resultierten in einer Regression (niedrigere Scores), was der impliziten Erwartung widerspricht, dass „später strikt besser“ ist.
Dimensions-Volatilität: Fairness-bezogene Benchmarks zeigten die höchste Volatilität ( $\sigma \approx 12,88$ pp), gefolgt von Wahrhaftigkeit ( $\approx 11,72$ pp), während Sicherheit geringer schwankte ( $\approx 7,48$ pp).
Rang-Persistenz: Die Rangstabilität ist schwach. Die am besten bewertete Release-Linie änderte sich in 90 % der Benchmark/Übergangs-Zellen, und paarweise Ordnungen kehrten sich zu 55 % der Zeit um, wobei sie nur geringfügig besser abschnitten als Uniform-Random-Baselines.
Compliance-Flips: Bei der empirischen Median-Schwelle liegt die Wahrscheinlichkeit, dass ein Benchmark zwischen den Generationen eine Schwelle überschreitet, für alle Benchmarks bei $\ge 0,5$ .

4. Beiträge und Implikationen

4.1 Kernschlussfolgerung

Das Paper kommt zu dem Schluss, dass Vertrauens-Scores, die einer benannten Release-Linie zugeordnet sind, nicht als übertragbar auf spätere Checkpoints vorausgesetzt werden dürfen, ohne eine Neumessung durchzuführen. Die Evidenz deutet darauf hin, dass die Behandlung dieser Scores als übertragbare Zertifikate operativ unvertretbar ist.

4.2 Lösungsvorschlag: Longitudinal Model Cards (LMC)

Die Autoren schlagen vor, die Berichterstattung über Vertrauen in Form einer Longitudinal Model Card zu verpacken. Im Gegensatz zu Standard-Model-Cards muss eine LMC Folgendes enthalten:

Checkpoint-Identität: Der spezifische HuggingFace-Revision-Hash.
Evaluationsdatum: Das exakte Datum der Messung.
Drift-Kontext: Die Drift des Scores relativ zur vorherigen auditierten Release und der Referenz-Null-Zusammenfassung.
Re-Audit-Trigger: Eine Regel, die besagt, dass jede „wesentlich neue Release“ (Änderung in Gewichten, Tokenizer, Skala oder Rezept) ein obligatorisches Re-Audit statt eines Score-Carry-forwards auslöst.

4.3 Umfang der Ansprüche

Die Autoren begrenzen den Umfang ihrer Ergebnisse explizit:

Enthalten: Nicht-kanonische Chat-Evaluations-Varianten der fünf spezifischen Benchmarks, feste 200-Item-gecashte Teilmengen und die vier auditierten Open-Source-Release-Linien (alle $\le 12B$ Parameter).
Ausgeschlossen: Closed-Source-APIs (z. B. OpenAI, Anthropic), Modelle größer als 12B, kanonische Benchmark-Protokolle und feste monatliche Offenlegungsregeln. Das Paper behauptet nicht, dass Drift in diesen ausgeschlossenen Domänen existiert, und weist darauf hin, dass diese eine separate Evaluierung erfordern.

5. Bedeutung und Limitationen

Bedeutung: Das Paper liefert den ersten groß angelegten, longitudinalen Audit der Vertrauenswürdigkeit von Open-Source-LLMs über mehrere Familien hinweg. Es stellt das Paradigma des „statischen Zertifikats“ in der Modell-Governance, Beschaffung und regulatorischen Offenlegung in Frage und argumenttiert, dass Vertrauen ein zeitgebundenes, checkpoint-spezifisches Artefakt ist und keine permanente Eigenschaft einer Release-Linie.

Limitationen:

Stichprobengröße: Das Audit deckt nur 12 Checkpoints über 4 Familien ab.
Unsicherheit der Item-Teilmenge: Die Ergebnisse beruhen auf einer einzigen festen 200-Item-Teilmenge pro Benchmark; Multi-Seed-Resampling wurde aufgrund von Rechenbeschränkungen nicht durchgeführt.
Störfaktoren (Confounding Factors): Die Drift ist ein Gemisch aus Änderungen im Rezept, Skalenänderungen (z. B. Gemma 7B $\to$ 12B) und Tokenizer-Änderungen. Die Studie differenziert diese spezifischen Treiber nicht.
Quantisierung: Alle Modelle wurden in 4-Bit NF4 ausgeführt, was Artefakte einführen kann, wobei die Konsistenz innerhalb der Release-Linien jedoch gewahrt blieb.

Das Paper schlägt keine neuen statistischen Methoden vor, sondern wendet Standard-Longitudinal- und Bootstrap-Techniken auf einen spezifischen, bisher nicht auditierten Bereich an: die Stabilität von Open-Source-LLM-Vertrauens-Scores über die Zeit.