🔢 mathematics

The Entropy of Floating-Point Numbers

Dieser Beitrag stellt eine analytische Näherung für die Entropie von Gleitkommazahlen vor, begründet deren Zusammenhang mit der diskreten Entropie über eine neuartige Größe, beweist die approximative Invarianz dieser Entropie unter Skalierung und liefert geschlossene Ausdrücke für gängige Verteilungen.

Ursprüngliche Autoren: Sultan Daniels, Samuel H. D'Ambrosia, Michael R. DeWeese, Anant Sahai

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sultan Daniels, Samuel H. D'Ambrosia, Michael R. DeWeese, Anant Sahai

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Messen der „Überraschung" von Computernummern

Stellen Sie sich vor, Sie versuchen, eine kontinuierliche Landschaft, wie einen sanften Hügel, mit einer Reihe diskreter Trittsteine zu beschreiben. In der Welt der Computer sind diese Trittsteine Gleitkommazahlen. Sie sind die Art und Weise, wie Computer reale Werte (wie 3,14159 oder 0,00001) unter Verwendung einer begrenzten Anzahl von Bits (0en und 1en) speichern.

Die Autoren dieses Papiers stellten eine fundamentale Frage: Wenn wir eine Zufallsvariable (wie die Höhe einer Welle oder die Temperatur eines Raums) auf diese Trittsteine zwingen, wie viel „Information" oder „Überraschung" bleibt im Ergebnis übrig?

In der Informationstheorie wird diese „Überraschung" als Entropie bezeichnet. Je höher die Entropie, desto unvorhersehbarer ist die Zahl. Je niedriger die Entropie, desto vorhersehbarer ist sie.

Das Problem: Lineale mit beweglichen Markierungen

Um den Beitrag des Papiers zu verstehen, müssen Sie verstehen, wie Gleitkommazahlen funktionieren.

Uniforme Quantisierung (Das Lineal): Stellen Sie sich ein Standardlineal vor, bei dem die Markierungen immer genau 1 Zentimeter voneinander entfernt sind. Wenn Sie eine lange Strecke messen, sind die Markierungen überall gleich groß. Dies ist einfach zu analysieren.
Gleitkommazahl-Quantisierung (Das Zoom-Lineal): Gleitkommazahlen sind anders. Sie sind wie ein Lineal, das hinein- und herauszoomt.
- Nahe bei Null sind die Markierungen winzig und sehr dicht beieinander (hohe Präzision).
- Weit entfernt von Null werden die Markierungen riesig und weit auseinanderliegend (geringe Präzision).

Da sich die „Lineal-Markierungen" je nach Ort ändern, ist die Berechnung der Entropie (der Überraschung) sehr schwierig. Sie können nicht einfach die Standardformeln verwenden, die für das feste Lineal funktionieren.

Die Lösung: Eine neue „magische Formel"

Die Autoren entwickelten eine vorhersagende analytische Näherung. Stellen Sie sich dies als eine „magische Formel" vor, mit der Sie die Entropie einer Gleitkommazahl schätzen können, ohne Millionen komplexer Berechnungen durchführen zu müssen.

Sie stellten fest, dass die Entropie einer Gleitkommazahl ungefähr gleich ist:

Der „Glattheit" der ursprünglichen Daten MINUS ein Korrekturfaktor, der darauf basiert, wie sich das Gleitkommazahl-Lineal streckt.

Sie nennen diese neue Größe die „Differentielle Gleitkommazahl-Entropie".

Die zentrale Entdeckung: Skalierung spielt keine Rolle

Eine der interessantesten Erkenntnisse des Papiers betrifft die Skalierung.

Wenn Sie eine Zufallsvariable (wie die Temperatur) mit 2 multiplizieren (sie doppelt so heiß machen), ändert sich die differentielle Entropie (das Standardmaß für glatte Daten). Sie wird größer.
Die Autoren bewiesen jedoch, dass für Gleitkommazahlen die Entropie ungefähr gleich bleibt, wenn Sie die Daten hoch- oder herunterskalieren, solange Sie nicht die Grenzen des Computers für „Überlauf" (zu groß) oder „Unterlauf" (zu klein) erreichen.

Die Analogie: Stellen Sie sich eine Stadtkarte vor.

Wenn Sie herauszoomen (hochskalieren), sagt die Standardkarte, dass die Stadt größer und komplexer aussieht.
Eine Gleitkommazahl-Karte ist jedoch wie eine „intelligente Karte", die ihre Gitterlinien automatisch anpasst, während Sie zoomen. Da sich die Gitterlinien dehnen und schrumpfen, um dem Zoom-Level zu entsprechen, bleibt die Menge an „Detail" (Entropie), die Sie auf der Karte sehen, konstant.

Was sie tatsächlich berechnet haben

Das Papier bietet ein „Menü" von Formeln (Tabelle I im Papier) für gängige Arten von Datenverteilungen. Sie berechneten die approximative Entropie für:

Gauß (Glockenkurve): Die Standard-„Normalverteilung".
Uniform: Daten, die mit gleicher Wahrscheinlichkeit überall in einem Bereich liegen.
Gamma, Chi-Quadrat, Laplace, Logistisch, Weibull, Log-normal, Pareto, Beta und Student-t: Verschiedene andere Formen von Datenverteilungen.

Für jede dieser Verteilungen gaben sie eine einfache Gleichung an, die die Präzision ( $p$ ) der Gleitkommazahl beinhaltet (wie viele Bits für den Dezimalteil verwendet werden).

Das Ergebnis: Für fast alle diese Verteilungen ist die Entropie ungefähr:
$\text{Präzision} + \text{Eine Konstante}$
Das bedeutet, wenn Sie wissen, wie viele Bits Ihr Computer für den Dezimalteil verwendet, können Sie die Entropie der Daten mit überraschender Genauigkeit vorhersagen, unabhängig von der spezifischen Form der Datenverteilung (sofern sie innerhalb des Bereichs des Computers liegt).

Wie gut ist die Näherung?

Die Autoren haben nicht nur geraten; sie bewiesen, wie nah ihre „magische Formel" an der wahren Antwort liegt.

Glättung: Sie ersetzten die gezackte, stufenartige Natur von Gleitkommazahlen durch eine glatte Kurve, um die Mathematik zu vereinfachen. Sie bewiesen, dass der Fehler durch diese Glättung sehr gering ist (weniger als 0,5 Bits pro Dimension).
Schranken: Sie berechneten das „Worst-Case-Szenario" für den Fehler. Sie zeigten, dass der Unterschied zwischen ihrer Formel und der exakten Antwort winzig ist, vorausgesetzt, die Daten versuchen nicht, Zahlen darzustellen, die für den Computer zu groß oder zu klein sind.

Zusammenfassung der „Kernaussagen"

Gleitkommazahlen sind ein nicht-uniformes Lineal: Es hat winzige Schritte nahe Null und riesige Schritte weit entfernt.
Neue Verbindung: Das Papier verbindet die „glatte" Entropie realer Weltdaten mit der „diskreten" Entropie von Gleitkommazahlen unter Verwendung einer neuen Formel.
Skalierungsinvarianz: Im Gegensatz zur Standardmathematik ändert sich die Entropie von Gleitkommazahlen nicht, wenn Sie die Daten einfach mit einer Konstanten multiplizieren (skalieren). Das „Lineal" des Computers passt sich automatisch an.
Einfache Formeln: Sie können nun die Entropie vieler gängiger Datentypen (wie Glockenkurven oder Uniformverteilungen) berechnen, indem Sie einfach die Präzision des Gleitkommazahlformats kennen.

Kurz gesagt, gibt uns das Papier eine einfache, genaue Möglichkeit zu messen, wie viel „Information" in einer Gleitkommazahl gespeichert ist, und zeigt, dass die Art und Weise, wie der Computer hinein- und herauszoomt, eine einzigartige, stabile Art von Entropie erzeugt, die sich nicht um die Größe der Zahlen kümmert, sondern nur um ihre relative Präzision.

Technische Zusammenfassung: Die Entropie von Gleitkommazahlen

Problemstellung

Gleitkommazahlen sind die Standard-diskrete Darstellung für kontinuierliche Variablen im modernen Rechnen, insbesondere in Deep-Learning-Algorithmen und -Hardware. Während die Beziehung zwischen differentieller Entropie und der diskreten Entropie von gleichmäßig quantisierten Zufallsvariablen gut etabliert ist (insbesondere im Hochauflösungs-Limit), fehlt ein analoges analytisches Framework für nicht-gleichmäßige Quantisierung, wie sie die Gleitkommadarstellung darstellt.

Der Artikel adressiert die fundamentale Frage: Was ist die Ausgangsentropie einer Zufallsvariable, die auf ein Gleitkommaformat quantisiert wurde? Bestehende Methoden beruhen auf der numerischen Auswertung der exakten diskreten Entropie, was rechenintensiv ist. Die Autoren streben danach, eine prädiktive analytische Näherung für diese Entropie abzuleiten, zusammen mit rigorosen Schranken für den Approximationsfehler.

Methodik

Die Autoren entwickeln ein mehrstufiges analytisches Framework, um die diskrete Entropie $H(X_{fp})$ einer auf Gleitkomma quantisierten Zufallsvariablen $X_{fp}$ zu approximieren:

Herleitung exakter Beziehungen: Unter Erweiterung der Arbeit von Kostina [9] zur gleichmäßigen Quantisierung leiten die Autoren eine exakte Identität her, die die diskrete Entropie der nicht-gleichmäßigen Quantisierung mit der differentiellen Entropie $h(X)$ der zugrundeliegenden kontinuierlichen Variablen $X$ verknüpft. Diese Identität enthält einen Korrekturterm, der die Kullback-Leibler-Divergenz (KL-Divergenz) zwischen der wahren Dichte $f_X$ und einer stückweise-konstanten Approximation $g$ beinhaltet:
$H(X_{fp}) = h(X) - E[\log \Delta(X)] + D(f_X || g)$
wobei $\Delta(X)$ die variable Binning-Größe des Gleitkomma-Quantisierers darstellt.
Approximationsstrategie:
- Vernachlässigung der KL-Divergenz: Die Autoren schlagen vor, den nicht-negativen KL-Divergenz-Term $D(f_X || g)$ als Näherung erster Ordnung zu vernachlässigen. Sie analysieren die Bedingungen, unter denen dieser Term klein ist, und zeigen, dass dies von der „Spitzigkeit" der Dichte relativ zur Binning-Größe abhängt.
- Glättung der Binning-Größe: Die exakte Gleitkomma-Binning-Größenfunktion $\Delta(x)$ ist eine Treppenfunktion. Die Autoren führen eine geglättete Approximation $\Delta_s(x) \approx \frac{|x|}{\sqrt{2}} 2^{1-p}$ ein, die eine geschlossene Integration ermöglicht. Dies erweitert den Definitionsbereich der Binning-Größenfunktion vom „granularen Bereich" (wo darstellbare Werte existieren) auf die gesamte reelle Achse $\mathbb{R}$ .
Fehleranalyse:
- Glättungsfehler: Die Autoren beweisen, dass der durch die Glättung der Binning-Größe und die Erweiterung des Definitionsbereichs eingeführte Fehler durch $d/2$ (wobei $d$ die Dimensionalität ist) plus einem Term $\epsilon$ beschränkt ist, der die Wahrscheinlichkeitsmasse in Überlauf- und Unterlaufbereichen darstellt.
- Skaleninvarianz: Ein entscheidender theoretischer Schritt ist der Beweis, dass die approximative Entropie unter Skalierung der zugrundeliegenden Zufallsvariablen invariant ist (d. h. $H((aX)_{fp}) \approx H(X_{fp})$ ), sofern Überlauf- und Unterlaufwahrscheinlichkeiten vernachlässigbar sind. Dies steht im Gegensatz zur differentiellen Entropie, die mit $\log|a|$ skaliert.

Hauptbeiträge

1. Analytische Approximationsformel

Der Artikel liefert eine geschlossene Näherung für die Gleitkomma-Entropie einer Zufallsvariable $X$ mit der Präzision $p$ :
$\tilde{H}_s(X_{fp}) = p - \frac{1}{2} - E[\log(|X| f_X(X))]$
Diese Formel trennt die Entropie effektiv in einen konstanten, von der Präzision abhängigen Term ( $p - 1/2$ ) und einen von der Verteilung abhängigen Term, der als „differentielle Gleitkomma-Entropie" bezeichnet wird.

2. Geschlossene Ausdrücke für gängige Verteilungen

Unter Verwendung der abgeleiteten Approximation stellen die Autoren explizite geschlossene Ausdrücke für die Entropie zahlreicher gängiger Verteilungen bereit (z. B. Gauß, Uniform, Gamma, Laplace, Lognormal, Pareto, Beta, Student-t). Bemerkenswerterweise heben sich bei univariaten Verteilungen die Skalierungsparameter in der Approximation auf, was die Eigenschaft der Skaleninvarianz bestätigt.

3. Rigorose Fehlerschranken

Der Artikel etabliert Schranken für den Fehler der Approximation:
$|H(X_{fp}) - \tilde{H}_s(X_{fp})| \leq \frac{1}{2} + \epsilon + D(f_X || g)$
wobei $\epsilon$ Beiträge durch Überlauf und Unterlauf berücksichtigt und $D(f_X || g)$ die Abweichung der Dichte von der Gleichverteilung innerhalb der Bins erfasst. Die Autoren zeigen, dass für glatte Verteilungen und hinreichend große Exponentbereiche der Fehler minimal ist.

4. Eigenschaft der Skaleninvarianz

Die Autoren beweisen, dass im Gegensatz zur differentiellen Entropie die approximative Gleitkomma-Entropie für skalare Zufallsvariablen skaleninvariant ist. Dies impliziert, dass die Entropie einer Gleitkommadarstellung primär von der Form der Verteilung und der Präzision $p$ abhängt und nicht von der Größe der Werte, solange diese innerhalb des darstellbaren Bereichs liegen.

Ergebnisse

Genauigkeit: Die analytischen Approximationen stimmen für verschiedene Verteilungen (Gauß, Uniform usw.) über einen weiten Bereich von Skalierungsparametern eng mit numerisch ausgewerteten exakten diskreten Entropien überein. Die Übereinstimmung hält gut innerhalb der durch die Exponentenbits definierten Unterlauf- und Überlaufgrenzen.
Präzision vs. Exponentenbits: Die Ergebnisse zeigen, dass die Approximation auch bei niedriger Präzision ( $p$ ) genau bleibt, solange die Anzahl der Exponentenbits ( $E$ ) ausreicht, um die Wahrscheinlichkeit von Überlauf und Unterlauf niedrig zu halten.
Verifikation der Skaleninvarianz: Empirische Diagramme bestätigen, dass die Entropie einer quantisierten Gauß-Variable konstant bleibt, wenn sich die Standardabweichung $\sigma$ ändert, bis $\sigma$ die Grenzen des Gleitkomma-Exponentenbereichs erreicht.

Bedeutung und Behauptungen

Der Artikel behauptet, eine „andere Größe" (die differentielle Gleitkomma-Entropie) aufzudecken, die im Kontext der Gleitkomma-Quantisierung die differentielle Entropie mit der diskreten Entropie verknüpft, und zwar unterscheidlich vom Fall der gleichmäßigen Quantisierung.

Die Bedeutung dieser Arbeit liegt in der Bereitstellung eines prädiktiven analytischen Werkzeugs zur Schätzung der Entropie von Gleitkomma-Darstellungen, ohne auf teure numerische Integration zurückgreifen zu müssen. Dies ist insbesondere relevant für:

Entwurf von Quantisierern mit variabler Rate: Verständnis des Entropie-Verzerrungs-Tradeoffs für Gleitkommaformate.
Deep Learning: Analyse des Informationsgehalts und der Kompressionsgrenzen von Gewichten und Aktivierungen neuronaler Netze, die in Gleitkommaformaten (z. B. FP8, BF16) dargestellt sind.
Hardware-Design: Information über die Tradeoffs zwischen Präzision, dynamischem Bereich und Speichernutzung bei neuen Gleitkommaformaten.

Die Autoren bewahren einen bescheidenen Ton und betonen, dass ihre Ergebnisse Approximationen mit bewiesenen Schranken sind, die unter der Annahme gültig sind, dass die Wahrscheinlichkeit von Überlauf und Unterlauf gering ist und die Verteilung relativ zu den Quantisierungs-Bins hinreichend glatt ist. Sie schlagen keine neue Hardware oder spezifische algorithmische Änderungen vor, sondern liefern vielmehr das theoretische Fundament zur Analyse bestehender Gleitkomma-Darstellungen.