Universal statistical signatures of evolution in artificial intelligence architectures

Dit onderzoek toont aan dat de evolutionaire ontwikkeling van kunstmatige intelligentie-architecturen dezelfde statistische wetten volgt als biologische evolutie, wat suggereert dat de structuur van evolutie substrate-onafhankelijk is en wordt bepaald door de topologie van het fitnesslandschap in plaats van het selectiemechanisme.

De kern

De Onzichtbare Wetten van de Evolutie: Waarom AI en Leven op dezelfde manier groeien

Stel je voor dat je een enorme bibliotheek bouwt. In deze bibliotheek staan niet boeken, maar "breinen" voor computers (AI). De auteurs van dit artikel, Theodor Spiro, hebben een fascinerende ontdekking gedaan: hoe deze computerbreinen zich ontwikkelen, lijkt verbluffend op hoe dieren en planten in de natuur evolueren.

Ze hebben 935 experimenten geanalyseerd waarbij wetenschappers delen van een AI-architectuur verwijderden of veranderden (zoals het weghalen van een orgel bij een mens) om te zien wat er gebeurde. Wat ze vonden, is dat de statistische regels die het leven sturen, ook gelden voor siliconen.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. De "Gelukspunten" van Veranderingen (De DFE)

Stel je voor dat je een recept voor een taart hebt. Als je een ingrediënt verwisselt, kan het resultaat zijn:

• Slecht: De taart valt in elkaar (68% van de keren).
• Niet veranderd: De taart smaakt precies hetzelfde (19% van de keren).
• Beter: De taart wordt nog lekkerder (13% van de keren).

In de natuur is het percentage "beter" heel laag (slechts 1-6%), omdat evolutie blind is: het gooit willekeurig zandkorrels in je recept. Bij AI is het percentage "beter" hoger (13%), omdat menselijke ingenieurs bewust zoeken naar verbeteringen.

De verrassing: Ondanks dat mensen bewuster zoeken, ziet de vorm van de verdeling er precies hetzelfde uit als bij bacteriën, fruitvliegen en zelfs mensen. Het is alsof je een blindeman en een visser laat vissen in dezelfde vijver; de visser vangt vaker, maar de vorm van de vijver (de "fitness-landschap") bepaalt hoe de vissen zich gedragen, niet de visser zelf.

2. De Explosie van Nieuwe Ontwerpen

In de natuur zien we soms "explosies" van nieuwe soorten, zoals na een massa-extinctie (bijvoorbeeld toen de dinosauriërs uitstierven en de zoogdieren zich verspreidden).

De auteurs zagen hetzelfde gebeuren in de wereld van AI:

• 2017: Een enorme sprong met de uitvinding van de "Transformer" (de technologie achter ChatGPT).
• 2021: Een nieuwe golf met "Diffusion-modellen" (de technologie achter AI-afbeeldingen).

Tussen deze pieken lagen rustige periodes. Het lijkt alsof AI-ontwikkeling net als biologische evolutie werkt: lange tijd weinig verandering, gevolgd door een korte periode van explosieve groei die nieuwe "ecologische niches" (zoals beeldherkenning of taal) vult.

3. Het Heruitvinden van de Wielen (Convergente Evolutie)

In de natuur hebben vissen en walvissen beide vinnen ontwikkeld, hoewel ze niet verwant zijn. Ze hebben dezelfde oplossing gevonden voor het probleem: zwemmen.

In de AI-wereld zagen de auteurs hetzelfde:

• Aandachtmechanismen (hoe een AI kijkt naar belangrijke informatie) zijn 5 keer onafhankelijk uitgevonden.
• Normering (het stabiel houden van de interne processen) is ook 5 keer onafhankelijk uitgevonden.

Het is alsof verschillende groepen ingenieurs, zonder elkaar te spreken, allemaal op hetzelfde moment uitvinden dat ze een "rem" en een "gaspedaal" nodig hebben. Dit bewijst dat er maar een beperkt aantal goede oplossingen zijn voor bepaalde problemen, of je nu uit vlees en bloed bestaat of uit code.

4. Waarom is dit belangrijk?

De kernboodschap van dit artikel is dat de regels van evolutie losstaan van het materiaal.

Of je nu praat over:

• DNA in een cel (koolstof),
• Code in een computer (siliconen),
• Of een vliegtuig dat wordt gemodificeerd...

Als je systemen bouwt die moeten "overleven" (presteren) in een complexe wereld, zullen ze allemaal dezelfde statistische patronen volgen. De vorm van het landschap (wat werkt en wat niet) is belangrijker dan hoe je erover nadenkt.

Conclusie: Een Spiegel voor de Natuur

Dit onderzoek suggereert dat AI niet zomaar een technisch hulpmiddel is, maar een levend laboratorium voor evolutie. Omdat we bij AI elke stap kunnen zien (in tegenstelling tot bij dinosauriërs, waar we alleen fossielen hebben), kunnen we nu de wetten van de evolutie testen met een precisie die voor biologen onmogelijk was.

Kortom: Of je nu een cel bent of een algoritme, als je probeert te overleven en te groeien, volg je dezelfde onzichtbare, universele wetten. De natuur heeft het al lang uitgevonden; AI is gewoon een snellere, mens-gestuurde versie van hetzelfde verhaal.

Technische samenvatting

Probleemstelling

De ontwikkeling van kunstmatige intelligentie (KI) -architecturen over het afgelopen decennium fungeert als een groot natuurlijk experiment in evolutie. Net als biologische organismen zijn KI-architecturen onderhevig aan variatie (nieuwe ontwerptaken), selectie (prestaties op benchmarks) en erfelijkheid (hergebruik van componenten). Echter, in tegenstelling tot de biologische evolutie die door "blinde" mutatie wordt gedreven, wordt de evolutie van KI geleid door menselijke ingenieurs die gericht zoeken naar verbeteringen.

De centrale vraag is of de evolutionaire dynamiek van KI fundamenteel verschilt van die van biologische systemen, of dat het slechts een versnelde versie is van hetzelfde proces. Eerdere studies maakten slechts kwalitatieve vergelijkingen (metaforen), maar er ontbrak een kwantitatieve test om te bepalen of de statistische handtekeningen van biologische evolutie (zoals de verdeling van fitness-effecten en convergente evolutie) ook in KI-architecturen terug te vinden zijn.

Methodologie

De auteur heeft een uitgebreide dataset samengesteld en geanalyseerd om drie specifieke hypothesen te testen:

1. H1: De verdeling van fitness-effecten (DFE) van architecturale mutaties in KI komt overeen met biologische DFE's in vorm en parameters.
2. H2: De diversificatiedynamiek van architecturen vertoont "punctuated equilibrium" (onderbroken evenwicht) en logistische verzadiging, vergelijkbaar met paleontologische radiatiepatronen.
3. H3: De frequentie en intensiteit van convergente evolutie in KI is kwantitatief vergelijkbaar met biologische convergentie.

Dataverzameling:

• KI-data: 935 ablatie-experimenten uit 161 publicaties (2014–2024) uit domeinen zoals computer vision, NLP en audio. Een ablatie-experiment wordt gedefinieerd als het verwijderen of modificeren van één architecturaal component.
  • Ablatie-types: "Major" (volledige verwijdering, n=568), "Minor" (hyperparameterwijzigingen, n=213) en "Intermediate" (vervanging, n=154).
  • Verzameling: 140 experimenten handmatig gecureerd en 795 geëxtraheerd met behulp van een LLM (Claude Sonnet).
• Biologische data: Vergelijking met DFE-data van negen organismen, variërend van RNA-virussen tot mensen. Omdat individuele mutatie-data voor de meeste organismen ontbreken, zijn synthetische steekproeven gegenereerd op basis van gepubliceerde samenvattingsstatistieken (gamma-vormparameters en categorie-aandelen).

Statistische analyse:

• Vergelijking van DFE-vormen via Kolmogorov-Smirnov (KS) afstanden, QQ-plots en Euclidische afstanden in proportieruimte.
• Analyse van diversificatie via logistische groeicurvemodellering en berekening van de variatiecoëfficiënt (CV) voor jaarlijkse oorsprongsraten.
• Inventarisatie van convergente eigenschappen (onafhankelijke uitvindingen van dezelfde mechanismen).

Belangrijkste Bijdragen

1. Grootste dataset tot nu toe: De eerste kwantitatieve analyse van 935 ablatie-experimenten om de evolutie van KI-architecturen te modelleren.
2. Substraat-onafhankelijkheid: Het aantonen dat de statistische structuur van evolutie onafhankelijk is van het fysieke substraat (koolstof vs. silicium) en het zoekmechanisme (blind vs. gericht).
3. Kwantificering van gerichte selectie: Het meten van het specifieke effect van menselijke ingreep op de verdeling van fitness-effecten, terwijl de onderliggende landschapstopologie behouden blijft.
4. Unificatie van theorie: Het verbinden van KI-ontwikkeling met thermodynamische theorieën van evolutie en co-evolutie tussen mens en machine.

Resultaten

1. Verdeling van Fitness-effecten (DFE)

• De DFE voor KI-architecturale wijzigingen volgt een zwaarstaartende Student's t-verdeling met negatieve scheefheid.
• Verhoudingen: Voor grote ablaties zijn 68% van de wijzigingen schadelijk (deleterious), 19% neutraal en 13% gunstig (beneficial).
• Vergelijking: Deze verdeling ligt statistisch tussen compacte virale genooms (hoge schadelijke fractie) en eenvoudige eukaryoten (zoals D. melanogaster en S. cerevisiae). De vorm (KS-afstand) komt sterk overeen met deze biologische systemen.
• Het "Gerichte" Effect: Het gunstige aandeel (13%) is aanzienlijk hoger dan in de biologie (1–6%). Dit kwantificeert het voordeel van "geziende mutagenen" (menselijke ingenieurs die gericht zoeken) ten opzichte van blind toeval, zonder de fundamentele vorm van de verdeling te veranderen.

2. Diversificatiedynamiek

• De oorsprong van nieuwe architecturen volgt een logistische groeicurve ($R^2 = 0.994$) met een geschatte draagkracht ($K$) van ongeveer 142 unieke architecturen.
• Het patroon toont punctuated equilibrium: periodes van stabiliteit onderbroken door pieken in innovatie (bijv. 2017 met Transformers, 2021 met CLIP/Diffusion-modellen).
• De diversificatie volgt een adaptieve radiatie in domeinniches: eerst computer vision, daarna NLP, en vervolgens audio en multimodale domeinen. Dit spiegelt ecologische patronen na massale uitstervingen.

3. Convergente Evolutie

• Veertien architecturale eigenschappen (zoals attention-mechanismen, normalisatie en gating) zijn onafhankelijk 3 tot 5 keer uitgevonden door verschillende onderzoeksgroepen.
• Hoewel de absolute aantallen lager zijn dan in de biologie (door minder onafhankelijke lijnen), is de intensiteit per lijn in KI ongeveer $5 \times 10^4$ keer hoger dan in de biologie. Dit illustreert hoe gericht zoeken de ontdekking van convergente oplossingen versnelt.
• Functionele analogieën zijn opvallend: attention-mechanismen lijken op camera-ogen, normalisatie op homeostase, en gating op ionkanalen.

4. Evolutie binnen Linages

• Naarmate architecturale lijnen (bijv. CNN's, Transformers) ouder en geoptimaliseerder worden, neemt het aandeel schadelijke mutaties toe en het neutrale ruimte af. Dit patroon is identiek aan dat van biologische organismen en suggereert dat de relatie tussen optimalisatie en mutatie-constreint substraat-onafhankelijk is.

Betekenis en Conclusie

De studie concludeert dat de statistische wetten van evolutie substraat-onafhankelijk zijn. De structuur van evolutie wordt primair bepaald door de topologie van het fitness-landschap (de geometrie van mogelijke oplossingen) en niet door het mechanisme van selectie (blind toeval vs. menselijke engineering).

• Theoretische Implicatie: Zowel biologische als artificiële evolutie zijn gevallen van adaptieve zoektocht op ruige fitness-landschappen. De overeenkomstige statistische handtekeningen (zwaarstaartende DFE, logistische radiatie, convergentie) wijzen op een universele thermodynamische oorsprong van evolutie.
• Praktische Implicatie: Evolutionaire theorie uit de biologie kan worden gebruikt om KI-architectuurontwerp te voorspellen (bijv. welke wijzigingen waarschijnlijk neutraal of schadelijk zijn). Omgekeerd kan de evolutie van KI, met een volledig en onbevooroordeeld "fossielenbestand", dienen als een modelstelsel om evolutionaire theorieën te testen met een precisie die in de paleontologie onmogelijk is.
• Toekomstvisie: De auteur voorspelt dat de oorsprong van nieuwe architecturen zal afnemen naarmate de draagkracht wordt benaderd, en dat het aandeel gunstige mutaties zal stijgen naarmate co-evolutie tussen menselijke onderzoekers en AI-systemen (via LLM-assistentie) intensiever wordt.

Kortom, het artikel bewijst dat evolutie een universeel wiskundig proces is dat zich manifesteert ongeacht of het substraat DNA of code is.