TAO: Tolerance-Aware Optimistic Verification for Floating-Point Neural Networks

Das Paper stellt TAO vor, ein Toleranz-bewusstes, optimistisches Verifizierungsprotokoll für heterogene Floating-Point-Neuronale Netze, das durch die Kombination theoretischer und empirischer Fehlergrenzen sowie ein Streitbeilegungsspiel eine skalierbare und vertrauenswürdige Verifizierung von ML-Ergebnissen ohne Trusted Hardware ermöglicht.

Das Wesentliche

Stell dir vor, du bestellst ein Essen in einem Restaurant, das du nicht selbst betreten kannst. Du zahlst dem Koch, aber du siehst nicht, was er tut. Vielleicht benutzt er frische Zutaten, vielleicht aber auch abgestandene Reste, oder er kocht das Gericht mit weniger Aufwand, als bezahlt wurde. Das ist das Problem beim „Machine Learning as a Service" (MLaaS): Nutzer vertrauen darauf, dass die KI das tut, was sie soll, können aber nicht überprüfen, ob der Cloud-Anbieter wirklich den richtigen Algorithmus mit den richtigen Daten verwendet hat.

Bisher gab es zwei Hauptprobleme, dieses Vertrauen zu überprüfen:

1. Zu kompliziert: Man könnte den Koch filmen (Kryptographie), aber das dauert ewig und kostet eine Menge Geld.
2. Zu starr: Man könnte verlangen, dass der Koch exakt dieselbe Bewegung macht wie ein anderer. Aber Computer sind chaotisch: Wenn zwei verschiedene Grafikkarten (GPUs) dieselbe Rechnung machen, können die Ergebnisse winzig kleine Unterschiede haben, nur weil die Rechenreihenfolge leicht anders ist. Das macht einen perfekten Vergleich unmöglich.

Hier kommt TAO ins Spiel. TAO ist wie ein cleverer, toleranter Gerichtsvollzieher für KI-Berechnungen.

Die große Idee: „Fast perfekt ist gut genug"

Statt zu verlangen, dass das Ergebnis der KI exakt (Bit für Bit) identisch ist, akzeptiert TAO Ergebnisse, die innerhalb eines vernünftigen Toleranzbereichs liegen.

Die Analogie des Gewichts:
Stell dir vor, du wiegst eine Melone auf einer Waage.

• Der alte Weg (Bit-für-Bit): Du verlangst, dass die Waage exakt 2,000000 kg anzeigt. Wenn sie 2,000001 kg anzeigt, ist das ein Fehler. Das ist unrealistisch, weil jede Waage minimal schwankt.
• Der TAO-Weg (Toleranz): Du sagst: „Solange die Melone zwischen 1,99 kg und 2,01 kg wiegt, ist alles in Ordnung." Wenn die Waage 2,000001 kg anzeigt, ist das akzeptabel. Aber wenn sie 1,50 kg anzeigt (weil der Betrüger eine Stein-Melone untergeschoben hat), dann ist das ein Problem.

TAO definiert für jeden einzelnen Rechenschritt der KI genau, wie viel „Rauschen" oder Abweichung durch die Hardware normal ist.

Wie funktioniert der Streit? (Das Spiel der Entlarvung)

Wenn ein Nutzer (der „Herausforderer") glaubt, der Anbieter (der „Vorschlagende") hat geschummelt, startet TAO ein interaktives Spiel, um den Fehler zu finden, ohne das ganze riesige KI-Modell neu berechnen zu müssen.

1. Der Verdacht: Der Herausforderer sagt: „Dein Ergebnis ist falsch!"
2. Das Teilen (Merkle-Baum): Statt das ganze KI-Netzwerk (das wie ein riesiger Baum aus tausenden Rechenschritten aussieht) neu zu berechnen, teilt der Anbieter den Baum in zwei Hälften.
3. Die Suche: Der Herausforderer prüft nur die Hälfte, die verdächtig ist. Ist sie okay? Dann prüfen wir die andere Hälfte. Ist sie verdächtig? Dann teilen wir diese Hälfte wieder.
4. Der letzte Schritt: So lange wird geteilt, bis nur noch ein einziger Rechenschritt übrig ist.
5. Das Urteil: Bei diesem einen Schritt gibt es zwei Möglichkeiten:
   • Theoretischer Check: Rechnet man rein mathematisch, ist das Ergebnis unmöglich? (Wie wenn jemand behauptet, eine Melone wiege 100 kg).
   • Der Experten-Rat: Wenn es knapp ist, fragt TAO eine kleine Gruppe unabhängiger Prüfer (ein Komitee). Die prüfen, ob das Ergebnis innerhalb der normalen Schwankungsbreite liegt.

Warum ist das genial?

• Geschwindigkeit: Da man nicht alles neu berechnen muss, sondern nur den verdächtigen kleinen Teil, ist es extrem schnell. In Tests betrug der zusätzliche Aufwand nur 0,3 % – also fast nichts.
• Flexibilität: Es funktioniert auf jeder Hardware (NVIDIA, AMD, Cloud-Server), auch wenn diese unterschiedlich rechnen. TAO ignoriert die winzigen, harmlosen Unterschiede und konzentriert sich nur auf die großen, böswilligen Fehler.
• Sicherheit: Die Autoren haben gezeigt, dass Betrüger kaum eine Chance haben. Selbst wenn sie versuchen, das Ergebnis so zu manipulieren, dass es gerade noch innerhalb der Toleranz liegt, führt das nicht zum gewünschten falschen Ergebnis (z. B. eine falsche Bilderkennung). Die „Toleranz" ist so eng gesetzt, dass Betrug unmöglich wird, ohne sofort entdeckt zu werden.

Zusammenfassung in einem Satz

TAO ist ein cleveres System, das KI-Ergebnisse nicht auf „perfekte Übereinstimmung", sondern auf „vernünftige Genauigkeit" prüft, indem es verdächtige Fehler durch ein effizientes Teil-Spiel lokalisiert und so Betrug in der Cloud verhindert, ohne die Geschwindigkeit zu opfern.

Es ist wie ein Richter, der nicht jede winzige Unschärfe auf einem Foto bestraft, aber sofort erkennt, wenn jemand das Bild komplett gefälscht hat.

Technische Zusammenfassung

1. Problemstellung

Moderne Machine-Learning-Systeme (ML) werden zunehmend auf Hardware ausgelagert, die nicht unter der Kontrolle des Nutzers steht (z. B. Cloud-GPUs, Inferenz-Marktplätze, Edge-Accelerator). Dies führt zu zwei Hauptproblemen:

• Mangelnde Transparenz: Nutzer können nicht verifizieren, welches Modell tatsächlich ausgeführt wurde oder ob die Ergebnisse den intendierten Eingaben und Modellen entsprechen. Es besteht die Gefahr von „stille Degradierungen" wie Modell-Tausch, Quantisierung oder Graph-Optimierungen durch den Anbieter.
• Inhärente Nicht-Determiniertheit: Floating-Point-Arithmetik (IEEE-754) ist nicht assoziativ. Vendor-Kernels auf heterogenen Beschleunigern (GPUs/TPUs) reordnen Operationen, fassen Operatoren zusammen und nutzen Thread-Scheduling, was zu nicht-deterministischen Ergebnissen führt. Selbst bei identischer Hardware und Eingabe können die Ausgaben leicht variieren.

Herausforderung: Bestehende Lösungsansätze scheitern an der Praxis:

• zkML (Zero-Knowledge Proofs): Für reale FP32-Modelle zu langsam und speicherintensiv.
• Deterministisches Replay: Erfordert das Verwerfen leistungsoptimierter Vendor-Kernels und schränkt die Hardware-Heterogenität ein.
• TEEs (Trusted Execution Environments): Verschieben das Vertrauen auf Hardware-Hersteller und führen zu Performance-Einbußen.
• Replikation: Zu teuer für große Modelle.

2. Methodik: TAO (Tolerance-Aware Optimistic Verification)

TAO ist ein Protokoll, das die Nicht-Determiniertheit nicht eliminiert, sondern durch prinzipielle Fehlertoleranzen handhabt. Statt Bit-für-Bit-Gleichheit zu fordern, wird verifiziert, ob das Ergebnis innerhalb eines definierten, operator-spezifischen Akzeptanzbereichs liegt.

Kernkomponenten:

1. Zwei komplementäre Fehlermodelle:

   • Theoretische IEEE-754-Schranken: Berechnung von Worst-Case-Rundungsfehlern pro Operator. Diese sind sicher (sound), aber oft zu konservativ für tiefe Netze. Sie dienen als kostengünstige „Fallback"-Prüfung am Ende des Prozesses.
   • Empirische Perzentil-Schwellenwerte: Offline-Kalibrierung der Rundungsfehler über verschiedene Hardware-Plattformen hinweg. Diese Profile sind deutlich enger (tighter) als theoretische Worst-Case-Schranken und modell-spezifisch.

2. Optimistisches Protokoll mit Streitbeilegung (Dispute Game):

   • Phase 0 (Setup): Der Modellbesitzer commitet Gewichte, Graph-Topologie und die kalibrierten empirischen Schwellenwerte auf einer Koordinationsschicht (z. B. Smart Contract).
   • Phase 1 (Optimistische Ausführung): Ein Anbieter (Proposer) führt die Inferenz aus und postet ein Commitment des Ergebnisses. Ohne Herausforderung innerhalb eines Zeitfensters wird das Ergebnis finalisiert.
   • Phase 2 (Streitlokalisierung): Bei einer Herausforderung (durch einen Challenger) wird ein interaktives Spiel gestartet. Basierend auf den empirischen Schwellenwerten wird der Graph rekursiv in Teilgraphen partitioniert (Merkle-basiert). Der Challenger identifiziert den ersten Teilgraphen, dessen Abweichung die Schwellenwerte überschreitet. Dies wiederholt sich, bis nur noch ein einzelner Operator (ein „Leaf") übrig ist.
   • Phase 3 (Adjudikation): Am Leaf wird der Streit gelöst:
     • Entweder durch einen schnellen theoretischen Bound-Check (wenn die Abweichung die theoretische Schranke überschreitet).
     • Oder durch ein Committee-Voting gegen die engeren empirischen Schwellenwerte (wenn die theoretische Schranke zu weit ist, aber die Abweichung verdächtig erscheint).

3. Implementierung:

   • Ein PyTorch-Laufzeitumgebung, die Graphen instrumentiert, Bounds in Echtzeit berechnet und Merkle-Commitments generiert.
   • Ein Koordinator auf Ethereum (Smart Contracts) verwaltet Commitments, Zeitfenster und Bonds (Pfand).

3. Wichtige Beiträge

1. Semantik für verifizierbares Floating-Point-ML: Formalisierung von „toleranzbewusster Korrektheit" und Design eines optimistischen Protokolls, das ohne Determinismus auskommt.
2. Fehleranalyse auf Operator-Ebene: Entwicklung dualer Fehlermodelle (theoretisch vs. empirisch) und umfassende Analyse adversarischer Angriffe, die zeigen, dass kleine, lokal zulässige Abweichungen sich nicht zu großen Aufgabenfehlern summieren.
3. Effiziente Streitbeilegung: Ein Merkle-verankerter, schwellenwertgeführter Disput-Mechanismus, der Konflikte auf einen einzelnen Operator reduziert und eine kostengünstige Adjudikation ermöglicht.
4. Lauffähiges System: Implementierung als PyTorch-Laufzeitumgebung und Smart-Contract-Schicht, die native GPU-Kernels ohne signifikanten Overhead nutzt.

4. Ergebnisse und Evaluation

Die Evaluation umfasste CNNs, Transformer, LLMs (Qwen3-8B) und Diffusionsmodelle auf verschiedenen GPUs (A100, H100, RTX4090).

• Präzision der Schwellenwerte: Empirische Schwellenwerte sind 100- bis 1000-mal enger (10²–10³×) als theoretische Worst-Case-Bounds für Transformer-Modelle.
• Sicherheitsanalyse (Angriffe):
  • Unter Verwendung der empirischen Schwellenwerte lag die Angriffserfolgsrate (ASR) bei 0% über alle Modelle hinweg, selbst wenn die Schwellenwerte um den Faktor 3 gelockert wurden.
  • Theoretische Bounds allein ließen bei großen LLMs (Qwen3-8B) eine kleine, aber nicht vernachlässigbare Angriffsfläche (bis zu 2,4% ASR) offen.
  • Es gab keine False Positives bei korrekten Ausführungen.
• Performance-Overhead:
  • Der Overhead für die optimistische Ausführung ist vernachlässigbar (0,3% zusätzliche Latenz auf Qwen3-8B).
  • Die Kosten für eine Streitbeilegung liegen bei ca. 0,39–1,24-fachen Kosten einer normalen Inferenz (FLOPs), was deutlich günstiger ist als zkML-Prozesse.
  • On-Chain-Kosten (Gas) liegen bei ca. 2 Millionen Gas pro Streitfall.

5. Bedeutung und Fazit

TAO löst das fundamentale Dilemma zwischen Skalierbarkeit und Verifizierbarkeit im heterogenen ML-Computing.

• Praktikabilität: Im Gegensatz zu zkML, das für LLMs oft unpraktisch ist, ermöglicht TAO die Nutzung von nativen, hochoptimierten GPU-Kernels und heterogener Hardware.
• Vertrauensminimierung: Es eliminiert die Notwendigkeit von Trusted Hardware (TEEs) oder Bit-für-Bit-Reproduzierbarkeit.
• Robustheit: Durch die Kombination aus theoretischen Garantien und empirischer Kalibrierung bietet das System einen robusten Schutz gegen Modell-Tausch, Quantisierung und andere Service-Degradierungen, ohne die Performance zu opfern.

TAO stellt einen Paradigmenwechsel dar: Statt die inhärente Unsicherheit von Floating-Point-Berechnungen zu bekämpfen, wird sie als akzeptabler Bereich definiert und verifiziert, was eine wirtschaftlich tragfähige Lösung für verifizierbare ML-as-a-Service-Modelle darstellt.