The Entropies

Die Arbeit kritisiert die Shannon-Entropie als unzureichend für die Beschreibung des mikrokanonischen Ensembles und für die theoretische Herleitung des zweiten Hauptsatzes der Thermodynamik.

Das Wesentliche

Die große Verwechslung: Warum unsere „Entropie-Formel" manchmal versagt

Stellen Sie sich Entropie wie das Maß für Unordnung oder Unsicherheit in einem System vor. In der modernen Wissenschaft, von Computern bis zur künstlichen Intelligenz, ist dieses Konzept allgegenwärtig. Der Autor dieses Papers, Roumen Tsekov, stellt jedoch eine provokante These auf: Wir verwenden die falsche Formel für die Entropie, wenn wir es mit abgeschlossenen Systemen zu tun haben.

Um das zu verstehen, nutzen wir zwei verschiedene Szenarien:

1. Das offene System: Der warme Raum (Die Kanonische Ensamble)

Stellen Sie sich einen Raum vor, in dem Sie die Temperatur konstant halten können (z. B. durch eine Klimaanlage). Die Energie kann zu- oder abfließen, aber die Temperatur bleibt gleich.

• Die Situation: Hier funktioniert die klassische Formel von Shannon (die wir oft in der Informationstheorie nutzen) perfekt. Sie ist wie ein guter Übersetzer, der die Sprache der Physik in die Sprache der Information übersetzt.
• Das Ergebnis: Alles läuft glatt. Die Entropie steigt, bis das System im Gleichgewicht ist. Die Mathematik stimmt mit der Realität überein.

2. Das abgeschlossene System: Der verschlossene Koffer (Die Mikrokanoische Ensamble)

Nun stellen Sie sich einen perfekt isolierten Koffer vor. Niemand kommt rein, niemand kommt raus. Die Energie ist fest eingefroren und kann sich nicht ändern.

• Das Problem: Wenn wir hier dieselbe Shannon-Formel verwenden, die für den warmen Raum funktioniert, bricht die Mathematik zusammen.
• Die Analogie: Stellen Sie sich vor, Sie versuchen, das Gewicht eines unsichtbaren Geistes zu wiegen. Die Waage (die Shannon-Formel) zeigt einen unendlich negativen Wert an oder sagt einfach „Null". Das ist physikalisch unsinnig. In einem abgeschlossenen Koffer führt die Standardformel zu einem Ergebnis, das besagt, dass die Entropie sich nicht ändert, selbst wenn das System ins Chaos übergeht. Das widerspricht dem Zweiten Hauptsatz der Thermodynamik, der besagt, dass die Unordnung in einem abgeschlossenen System immer zunehmen muss (der „Pfeil der Zeit").

Warum passiert das?

Der Autor erklärt, dass die Shannon-Formel darauf basiert, dass man die Wahrscheinlichkeit eines Zustands kennt. In einem abgeschlossenen System mit fester Energie sind jedoch alle möglichen Zustände innerhalb dieser Energiegrenze gleich wahrscheinlich.

• Die falsche Brille: Die Shannon-Formel schaut durch eine Linse, die für „durchschnittliche" Systeme gemacht ist. Sie ignoriert die harte Grenze der Energie.
• Die richtige Brille: Für abgeschlossene Systeme brauchen wir die Boltzmann-Entropie (die ältere Formel). Diese zählt einfach, wie viele verschiedene Wege (Zustände) das System hat, um genau diese eine Energie zu haben.
  • Metapher: Stellen Sie sich vor, Sie haben eine Schatzkarte. Die Shannon-Methode versucht, die Wahrscheinlichkeit zu berechnen, den Schatz zu finden, wenn Sie überall suchen dürfen. Die Boltzmann-Methode zählt einfach, wie viele verschiedene Pfade es gibt, die Sie zum Schatz führen, wenn Sie nur in einem bestimmten, begrenzten Wald suchen dürfen. Nur die Zählung der Pfade (Boltzmann) gibt hier die richtige Antwort.

Die Konsequenzen für die Wissenschaft

Wenn wir die falsche Formel (Shannon) für abgeschlossene Systeme verwenden, können wir den Zweiten Hauptsatz der Thermodynamik nicht mathematisch beweisen. Das ist wie ein Architekt, der versucht, ein Haus zu bauen, aber die falschen Baupläne verwendet: Das Haus steht, aber die Statik stimmt nicht.

Der Autor zeigt auf, dass:

1. Für offene Systeme (wie ein Gas in einem Behälter mit Wärmeaustausch) die Shannon-Entropie super ist.
2. Für abgeschlossene Systeme (wie das Universum oder ein perfekt isoliertes Gas) wir zwingend die Boltzmann-Entropie (basierend auf der Anzahl der Zustände) nutzen müssen. Nur diese wächst mit der Zeit und erklärt, warum die Zeit eine Richtung hat.

Ein Blick in die Zukunft

Das Paper endet mit einem spannenden Ausblick:

• Schwarze Löcher: Hier ist die Entropie proportional zur Oberfläche des Lochs, nicht zum Volumen. Das ist wie ein holografischer Film, der die gesamte Information an der Wand speichert.
• Negative Temperaturen: In extremen Systemen (wie Schwarzen Löchern oder bestimmten Quantensystemen) kann die Temperatur sogar negativ werden. Das klingt paradox, ist aber mathematisch möglich und stellt unsere klassischen Gesetze auf den Kopf.
• Soziale Entropie: Sogar in der Gesellschaft gibt es Entropie. Mehr Freiheit und weniger Kontrolle bedeuten mehr „soziale Entropie". Der Zweite Hauptsatz könnte also auch erklären, warum Gesellschaften sich in Richtung mehr Freiheit oder Chaos entwickeln.

Fazit in einem Satz

Wir haben lange eine universelle Formel für Unordnung (Entropie) benutzt, die nur für „offene" Systeme funktioniert; für „geschlossene" Systeme müssen wir zurück zu einer älteren, zählenden Methode (Boltzmann) gehen, um zu verstehen, warum die Zeit vorwärts läuft und warum das Universum chaotischer wird.

Technische Zusammenfassung

Titel: Die Entropien (The Entropies)

Autor: Roumen Tsekov, Universität Sofia, Bulgarien
Quelle: arXiv 2602.07861

---

1. Problemstellung

Das Papier kritisiert die aktuelle Behandlung des Entropie-Konzepts in der modernen Physik und Informatik. Der zentrale Konflikt liegt in der Diskrepanz zwischen der Shannon-Entropie (bzw. Gibbs-Entropie $S_G$) und der Boltzmann-Entropie ($S_B$), insbesondere im Kontext unterschiedlicher statistischer Ensembles:

• Die Shannon-Entropie liefert einen adäquaten Rahmen für das kanonische Ensemble (Systeme mit konstanter Temperatur $T$, die Wärme mit der Umgebung austauschen).
• Sie versagt jedoch bei der adäquaten Darstellung des mikrokanonischen Ensembles (isolierte Systeme mit konstanter Energie $E$).
• Ein schwerwiegender theoretischer Mangel ist die Unfähigkeit der Shannon-Entropie, eine theoretische Herleitung des Zweiten Hauptsatzes der Thermodynamik für isolierte Systeme zu unterstützen. In isolierten Systemen bleibt die Gibbs-Entropie gemäß der Liouville-Gleichung konstant, was dem irreversiblen Anstieg der Entropie widerspricht.

2. Methodik

Der Autor führt eine vergleichende Analyse verschiedener Entropie-Definitionen durch und wendet diese auf klassische und quantenmechanische Systeme an:

• Vergleich von Entropie-Formeln: Es werden die Rényi-Entropie, Tsallis-Entropie, Shannon-Entropie und die Boltzmann-Entropie gegenübergestellt.
• Statistische Mechanik: Unterscheidung zwischen nicht-interagierenden Teilchen (ideales Gas, Boltzmann-Statistik) und realen Systemen (Hamilton-Systeme).
• Ensemble-Theorie:
  • Analyse des kanonischen Ensembles mit der Gibbs-Verteilung $\rho_{eq} \propto e^{-\beta H}$.
  • Analyse des mikrokanonischen Ensembles mit der Gibbs-Verteilung $\rho_{eq} \propto \delta(E-H)$.
• Dynamische Analyse: Untersuchung der zeitlichen Entwicklung der Entropie in isolierten Systemen unter Verwendung der Liouville-Gleichung ($\dot{\rho} = \{H, \rho\}$).
• Thermodynamische Konsistenz: Überprüfung, ob die abgeleiteten Entropie-Formeln die korrekten thermodynamischen Beziehungen für Druck ($p$), chemisches Potential ($\mu$) und Temperatur ($T$) liefern.

3. Wichtige Beiträge und Ergebnisse

A. Versagen der Gibbs-Entropie ($S_G$) im mikrokanonischen Ensemble

• Für ein isoliertes System mit konstanter Energie $E$ ist die Gleichgewichts-Verteilung durch eine Dirac-Delta-Funktion gegeben: $\rho_{eq} = \delta(E-H)/\Omega$.
• Setzt man dies in die Gibbs-Formel $S_G = -k_B \int \rho \ln \rho \, d\Gamma$ ein, ergibt sich formal eine unendlich negative Entropie ($S_G = k_B \ln[\Omega/\delta(0)]$), was physikalisch unsinnig ist.
• Zeitliche Entwicklung: Die Berechnung der zeitlichen Ableitung der Gibbs-Entropie in einem isolierten System führt unter Verwendung der Liouville-Gleichung zu $\dot{S}_G = 0$. Dies bedeutet, dass die Gibbs-Entropie in einem isolierten System niemals wächst, was im direkten Widerspruch zum Zweiten Hauptsatz der Thermodynamik steht.

B. Wiederherstellung der Boltzmann-Entropie ($S_B$)

• Der Autor zeigt, dass für isolierte Systeme die korrekte Entropie durch die Boltzmann-Entropie gegeben ist:
  $$S_B = k_B \ln \Phi$$
  wobei $\Phi(E, V, N) = \int \theta(E-H) \, d\Gamma$ die Anzahl der zugänglichen Zustände im Phasenraum unterhalb der Energie $E$ ist (unter Verwendung der Heaviside-Sprungfunktion $\theta$).
• Diese Formel ist proportional zur Hartley-Funktion (Maximalentropie bei gleichverteilten Wahrscheinlichkeiten).
• Thermodynamische Konsistenz: Durch Ableitung von $S_B$ lassen sich die korrekten thermodynamischen Größen ableiten:
  • Druck: $p = T (\partial S_B / \partial V)_{E,N}$
  • Chemisches Potential: $\mu = -T (\partial S_B / \partial N)_{E,V}$
  • Temperatur: $k_B T = \Phi / \Omega$ (wobei $\Omega = \partial \Phi / \partial E$ die Zustandsdichte ist).
• Für das ideale Gas reduziert sich $S_B$ auf die bekannte Sackur-Tetrode-Gleichung.

C. Lösung des Paradoxons

• Der Autor argumentiert, dass die Shannon-Entropie (als Funktional der Wahrscheinlichkeitsdichte $\rho$) nicht auf das mikrokanonische Ensemble anwendbar ist, da die Gleichgewichtsverteilung dort eine Singularität (Delta-Funktion) aufweist.
• Der Zweite Hauptsatz (Anstieg der Entropie) lässt sich nur ableiten, wenn man die Boltzmann-Entropie verwendet und die Hypothese des molekularen Chaos (Stoßzahlansatz) annimmt, die eine Faktorisierung der N-Teilchen-Verteilung in Einteilchen-Verteilungen erlaubt. Dies ist im Gegensatz zur reinen Liouville-Dynamik nicht trivial.

D. Erweiterungen und moderne Anwendungen

• Das Papier erwähnt Anwendungen in der modernen Physik, wie z.B. die Bekenstein-Hawking-Entropie von Schwarzen Löchern (proportional zur Ereignishorizontfläche).
• Es wird auf die Möglichkeit negativer Temperaturen in Systemen mit begrenztem Energiespektrum (wie Schwarze Löcher) hingewiesen, was die Gültigkeit des Dritten Hauptsatzes infrage stellt.
• Ein kurzer Verweis auf die Anwendung des Entropiekonzepts in der Soziophysik (soziale Entropie als Maß für Freiheit).

4. Bedeutung und Fazit

Das Papier stellt eine fundamentale Korrektur des Verständnisses von Entropie in der statistischen Mechanik dar. Die Hauptbedeutung liegt in der Klärung, dass:

1. Die Gibbs-Shannon-Entropie zwar für kanonische Systeme (konstante Temperatur) funktioniert, aber für isolierte Systeme (konstante Energie) unbrauchbar ist, da sie den Zweiten Hauptsatz nicht reproduzieren kann und zu physikalisch unsinnigen Werten führt.
2. Die Boltzmann-Entropie ($S_B = k_B \ln \Phi$) die korrekte charakteristische Funktion für isolierte Systeme ist und konsistent mit der Thermodynamik ist.
3. Die Diskrepanz zwischen den beiden Entropie-Begriffen nicht nur eine mathematische Nuance ist, sondern tiefgreifende Konsequenzen für das Verständnis von Irreversibilität und dem Zeitpfeil in isolierten Systemen hat.

Der Autor schließt, dass die Entropie nicht als einheitliches Konzept für alle Ensembles betrachtet werden darf, sondern dass die Wahl der richtigen Entropie-Definition (Shannon vs. Boltzmann) vom physikalischen Kontext (kanonisch vs. mikrokanonisch) abhängt.