The Entropies

Dit artikel bekritiseert de Shannon-entropie omdat deze weliswaar geschikt is voor het canonieke ensemble, maar tekortschiet in de beschrijving van het microcanonieke ensemble en een theoretische afleiding van de tweede wet van de thermodynamica.

De kern

De Verwarrende Wereld van Entropie: Waarom de "Regel" niet Altijd Werkt

Stel je voor dat entropie een metertje is dat aangeeft hoe "chaotisch" of "onvoorspelbaar" een systeem is. In de moderne wetenschap, van kunstmatige intelligentie tot zwarte gaten, wordt dit metertje overal gebruikt. Maar de auteur van dit artikel, Roumen Tsekov, zegt: "Wacht even, dit metertje is kapot voor een heel belangrijk type situatie."

Hier is de uitleg in gewone taal, met een paar handige vergelijkingen.

1. Twee Manieren om te tellen: De "Gemiddelde" vs. De "Strikte"

De wetenschap kent twee hoofdsituaties voor systemen (zoals een gas in een fles):

• Situatie A: De Fles met een Open Deurtje (Isotherm).
  Stel je een kamer voor waar de temperatuur constant wordt gehouden door een airco. Warmte kan erin en eruit. Hier werkt de bekende Shannon-entropie (de standaardformule) perfect. Het is alsof je een dobbelsteen gooit waarbij de uitkomst kan variëren, maar de gemiddelde temperatuur van de kamer gelijk blijft. Alles klopt hier.
• Situatie B: De Volledig Gesloten Koffer (Geïsoleerd).
  Stel je nu een perfect geïsoleerde koffer voor. Geen warmte gaat erin of uit. De totale energie is strikt vast. Dit is de "microcanonische" situatie.
  • Het probleem: Als je de standaardformule (Shannon) gebruikt voor deze gesloten koffer, krijg je een onzin-resultaat. De formule zegt dat de entropie oneindig negatief is, wat fysiek onmogelijk is. Het is alsof je probeert de snelheid van een auto te meten terwijl je de wielen vastzet; de meter draait doorgaans, maar de auto beweegt niet.

2. De Verkeerde Sleutel voor het Slot

De auteur legt uit dat we de verkeerde sleutel proberen te gebruiken.

• Shannon's entropie is gemaakt voor situaties waar energie kan fluctueren (Situatie A).
• Boltzmann's entropie (een oudere, maar andere formule) is de juiste sleutel voor de gesloten koffer (Situatie B).

In de gesloten koffer moeten we tellen hoeveel manieren er zijn om de deeltjes te verdelen zonder dat de totale energie verandert. Dit is een heel strikte telling. Als je de "gemiddelde" formule (Shannon) hierop toepast, krijg je een wiskundige crash. Je moet terug naar de oorspronkelijke formule van Boltzmann, die telt hoeveel "toestanden" er mogelijk zijn binnen die strikte energiegrens.

3. De Tweede Wet van de Thermodynamica: De Pijl van de Tijd

De Tweede Wet zegt dat entropie in een gesloten systeem altijd toeneemt. Dit is wat zorgt voor de "pijl van de tijd": eieren breken, maar worden niet spontaan heel; koffie mengt zich met melk, maar scheidt niet weer.

• Het mysterie: Als je de standaardformule (Shannon) gebruikt voor een gesloten systeem, zegt de wiskunde dat de entropie nooit verandert. Het blijft stilstaan. Dat betekent dat de "pijl van de tijd" zou verdwijnen. De wereld zou in een statische, eeuwige stilte verkeren.
• De oplossing: De auteur stelt dat dit komt omdat we de verkeerde definitie gebruiken. Als je de juiste Boltzmann-definitie gebruikt, zie je wél dat de entropie toeneemt. De "pijl van de tijd" werkt dus alleen als je de juiste meting gebruikt voor de juiste situatie.

4. Een Analogie: De Bibliotheek

Laten we het vergelijken met een bibliotheek:

• Situatie A (Open Deurtje): Boeken mogen de bibliotheek in en uit. Je kunt berekenen hoeveel "verwarring" er is op basis van het gemiddelde aantal boeken. Dit werkt goed met de standaardformule.
• Situatie B (Gesloten Koffer): De bibliotheek is afgesloten. Er zijn precies 10.000 boeken en geen één mag weg of bij.
  • Als je de standaardformule gebruikt, krijg je een foutmelding omdat je probeert te rekenen met "gemiddelden" terwijl er geen ruimte is voor variatie.
  • Je moet in plaats daarvan tellen: "Op hoeveel manieren kunnen deze 10.000 boeken op de planken staan?" Dat is de Boltzmann-methode. Alleen die methode geeft je het juiste antwoord over hoe chaotisch de bibliotheek is.

5. Waarom is dit belangrijk?

Dit klinkt misschien als droge theorie, maar het heeft gevolgen voor:

• Zwarte Gaten: De entropie van zwarte gaten gedraagt zich heel raar (soms zelfs met "negatieve temperaturen"). Als we de verkeerde formule gebruiken, begrijpen we de natuur van het heelal niet goed.
• Sociale Wetenschappen: De auteur suggereert dat zelfs in de samenleving (vrijheid, economie) de "entropie" een rol speelt. Als we de verkeerde meting gebruiken, begrijpen we niet hoe maatschappelijke veranderingen werken.

Conclusie

De boodschap van dit artikel is simpel: Er is niet één "entropie" die voor alles werkt.

De populaire formule die we vaak zien (Shannon) is geweldig voor systemen die warmte uitwisselen, maar hij faalt volledig voor systemen die volledig geïsoleerd zijn. Voor die gesloten systemen moeten we teruggrijpen naar de oorspronkelijke, striktere formule van Boltzmann. Zonder deze correctie kunnen we de "pijl van de tijd" en de werking van het heelal niet volledig begrijpen.

Kortom: Gebruik de juiste meetlat voor het juiste werk, anders meet je de verkeerde dingen.

Technische samenvatting

Titel: De Entropieën

Auteur: Roumen Tsekov (Universiteit van Sofia, Bulgarije)
Onderwerp: Statistische mechanica, Thermodynamica, Informatietheorie

---

1. Het Probleem

Het artikel identificeert een fundamentele tegenstrijdigheid in de hedendaagse wetenschap omtrent het concept van entropie. Hoewel de Shannon-entropie (en de daarop gebaseerde Gibbs-entropie in de statistische mechanica) een robuust kader biedt voor het beschrijven van canonieke ensembles (systemen in thermisch contact met een reservoir bij constante temperatuur), faalt deze definitie bij het beschrijven van microcanonieke ensembles (geïsoleerde systemen met constante energie).

De kernproblemen zijn:

• Mathematische divergentie: Bij toepassing van de Gibbs-entropieformule op een microcanoniek ensemble (waar de waarschijnlijkheidsdichtheid een Dirac-deltafunctie is), resulteert dit in een oneindig negatieve entropie, wat fysisch onzin is.
• Schending van de Tweede Hoofdwet: In geïsoleerde systemen, waar de dynamica wordt beheerst door de Liouville-vergelijking, blijft de Gibbs-entropie constant in de tijd ($\dot{S}_G = 0$). Dit staat haaks op de Tweede Hoofdwet van de thermodynamica, die stelt dat entropie in geïsoleerde systemen moet toenemen tot het evenwicht is bereikt.
• Gebrek aan theoretische afleiding: De huidige Shannon/Gibbs-formulering kan de Tweede Hoofdwet niet theoretisch afleiden voor geïsoleerde systemen zonder extra aannames (zoals moleculaire chaos) die niet direct uit de fundamentele vergelijkingen volgen.

2. Methodologie

De auteur voert een kritische analyse uit van de historische en theoretische ontwikkelingen van entropie, variërend van Clausius en Boltzmann tot Shannon, Rényi en Tsallis. De methodologische aanpak omvat:

• Vergelijkende Analyse: Het vergelijken van verschillende entropie-definities (Shannon, Rényi, Tsallis, Hartley) en hun toepasbaarheid op verschillende statistische systemen.
• Statistische Mechanica: Het analyseren van ideale gassen versus realistische systemen beschreven door een Hamilton-functie $H(p, q)$.
• Wiskundige Derivatie:
  • Het toepassen van de Gibbs-entropieformule ($S_G = -k_B \int \rho \ln \rho d\Gamma$) op het canonieke evenwicht (Boltzmann-verdeling) om de consistentie te tonen.
  • Het toepassen van dezelfde formule op het microcanonieke evenwicht ($\rho_{eq} = \delta(E-H)/\Omega$) om de divergentie aan te tonen.
  • Het afleiden van thermodynamische grootheden (druk $p$, chemisch potentiaal $\mu$) via partiële afgeleiden van de entropie in het microcanonieke ensemble.
• Dynamische Analyse: Het onderzoeken van de tijdsafgeleide van de Gibbs-entropie in geïsoleerde systemen met behulp van de Liouville-vergelijking en de eigenschappen van de Liouville-operator (Hermitisch).

3. Belangrijkste Bijdragen en Resultaten

A. De tekortkoming van de Gibbs-entropie in geïsoleerde systemen

De auteur toont wiskundig aan dat voor een geïsoleerd systeem met constante energie $E$, de substitutie van de microcanonieke verdeling in de Gibbs-formule leidt tot:
$$S_G = k_B \ln[\Omega / \delta(0)]$$
Dit resulteert in een oneindig negatieve waarde, wat aantoont dat de Shannon/Gibbs-formulering niet geschikt is voor systemen met een vaste energie.

B. Herintroductie van de Boltzmann-entropie voor geïsoleerde systemen

Om de correcte entropie voor geïsoleerde systemen te vinden, berekent de auteur de druk en chemisch potentiaal via de microcanonieke verdeling en vergelijkt deze met de thermodynamische definities. Dit leidt tot de conclusie dat de entropie moet worden gegeven door de Boltzmann-entropie (in de vorm van de oppervlakte van het beschikbare fase-ruimtevolume):
$$S_B = k_B \ln \Phi$$
Waarbij $\Phi(E, V, N) = \int \theta(E - H) d\Gamma$ het totale aantal toegankelijke toestanden is binnen de energie $E$ (bepaald door de Heaviside-stapfunctie).

• Deze definitie is evenredig met de Hartley-functie (maximale entropie voor uniforme verdeling).
• Het levert de juiste thermodynamische relaties op, inclusief de temperatuurdefinitie $k_B T = \Phi / \Omega$.

C. De onoplosbaarheid van de entropietoename in de Gibbs-formulering

De auteur demonstreert dat voor elke entropie die puur een functionaal is van de waarschijnlijkheidsdichtheid $\rho$ (d.w.z. $S = \int g(\rho) d\Gamma$), de tijdsafgeleide in een geïsoleerd systeem nul is onder de Liouville-dynamica:
$$\dot{S}_G = 0$$
Dit bevestigt dat de Gibbs-entropie de "tijdspijl" niet kan verklaren in geïsoleerde systemen. De toename van entropie (de Tweede Hoofdwet) vereist volgens Boltzmann de aanname van "moleculaire chaos" en een factorisatie van de verdeling, wat niet vanzelfsprekend is in de fundamentele mechanica.

D. Toepassing op moderne fysica

Het artikel bespreekt ook de implicaties voor:

• Zwarte gaten: De Bekenstein-Hawking-entropie is evenredig met het oppervlak, wat suggereert dat de standaardthermodynamica hieraan moet worden aangepast (inclusief mogelijke negatieve temperaturen).
• Sociale thermodynamica: Entropie wordt geïdentificeerd met vrijheid in de sociophysica, waarbij de Tweede Hoofdwet de drijvende kracht is achter de sociale tijdspijl.

4. Betekenis en Conclusie

De kernboodschap van het artikel is dat er geen universele entropieformule bestaat die voor alle ensemble-types (canoniek en microcanoniek) gelijkwaardig werkt.

• Voor canonieke systemen (constante T): De Shannon/Gibbs-entropie ($S = -k_B \sum p_i \ln p_i$) is correct en leidt tot de Helmholtz vrije energie.
• Voor microcanonieke systemen (constante E): De Shannon/Gibbs-entropie faalt. De correcte beschrijving vereist de Boltzmann-entropie gebaseerd op het volume van de fase-ruimte ($\Phi$), wat correspondeert met de Hartley-entropie.

De auteur concludeert dat de verwarring in de literatuur (waarbij $S_G$ en $S_B$ vaak als equivalent worden beschouwd tot een constante) fundamenteel onjuist is voor geïsoleerde systemen, vooral in niet-evenwichtssituaties. De Tweede Hoofdwet van de thermodynamica kan niet worden afgeleid uit de Liouville-dynamica met de Gibbs-entropie; het vereist een ander fundamenteel kader (zoals de Boltzmann-entropie en de aanname van moleculaire chaos) om de irreversibiliteit in geïsoleerde systemen te verklaren. Dit heeft verstrekkende gevolgen voor de interpretatie van entropie in kwantumcomputing, zwarte gaten en complexe systemen.