Self-attention is a Dyson equation for many-body machine learning
Dit artikel stelt dat zelf-aandacht functioneert als een Dyson-vergelijking in de reële ruimte met een twee-lichamen zelfenergie, waardoor de niet-lokale correlaties worden gevangen die essentieel zijn voor het modelleren van aangeslagen toestanden en complexe golffuncties, welke symmetrische som-pooling (DeepSets) niet kan representeren vanwege de mean-field beperkingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteur. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het uitgestrekte landschap van de moderne wetenschap vindt een stille revolutie plaats binnen de machines die leren. Decennialang hebben onderzoekers kunstmatige intelligentie gebouwd om het gedrag van atomen en elektronen na te bootsen, in de hoop te voorspellen hoe materie zich op haar meest fundamentele niveau gedraagt. Om dit te doen, vertrouwen ze op wiskundige modellen die deeltjes behandelen als individuen die door de ruimte bewegen. De werkelijkheid is echter zelden een verzameling geïsoleerde individuen; het is een web van relaties waarin elk deeltje de trek en duw voelt van elk ander deeltje in de buurt. De uitdaging is altijd geweest hoe je een computer kunt leren deze complexe, verschuivende verbindingen te begrijpen zonder overweldigd te raken door het enorme aantal interacties. Lange tijd was de meest succesvolle aanpak om het probleem te vereenvoudigen door de details te middelen om een algemeen beeld van het systeem te krijgen. Dit werkte goed voor sommige taken, zoals het voorspellen van de energie van een stabiel molecuul, maar faalde jammerlijk wanneer het systeem complex werd, zoals wanneer elektronen sterk gecorreleerd zijn of wanneer een molecuul wordt geëxciteerd naar een hogere energietoestand. De vraag bleef: waarom werkte de methode van eenvoudig middelen wel voor sommige zaken maar niet voor andere, en kon een ander type machine learning-architectuur het puzzelstukje oplossen?
Een nieuwe studie door Jarvist Moore Frost aan Imperial College London biedt een verrassend antwoord door twee schijnbaar ongerelateerde velden met elkaar te verbinden: de fysica van veel interagerende deeltjes en de architectuur van moderne kunstmatige intelligentie. Het onderzoek onthult dat een specifiek type component in neurale netwerken, bekend als zelf-aandacht (self-attention), niet slechts een slimme technische truc is, maar een directe wiskundige representatie van hoe deeltjes met elkaar interageren in de fysieke wereld. Het artikel betoogt dat de populaire methode van "sum-pooling", die simpelweg informatie van alle deeltjes middelt, in essentie een vereenvoudigd model is dat de specifieke, sterke bindingen tussen paren deeltjes negeert. Terwijl dit middelen goed werkt voor het berekenen van de basisenergie van een stabiel systeem, vervaagt het de ingewikkelde, fractale patronen die ontstaan wanneer deeltjes nauw aan elkaar gekoppeld zijn. In contrast hiermee fungeert het zelf-aandachtsmechanisme, dat een computer in staat stelt de belangrijkheid van het ene deeltje ten opzicht van een ander dynamisch te wegen, als een precisie-instrument voor het vastleggen van deze complexe, paar-gebaseerde relaties.
Om dit idee te testen, ontwierp de onderzoeker een simulatie bestaande uit een systeem van zes elektronen die bewegen in een tweedimensionale ruimte. Het doel was om het machine learning-model te leren een specifiek, zeer complex patroon te voorspellen dat bekend staat als een "fractale backflow". Dit patroon beschrijft hoe de positie van één elektron onmiddellijk en ingewikkeld wordt verschoven door de aanwezigheid van alle anderen, waardoor een vorm ontstaat die zichzelf op verschillende schalen herhaalt, vergelijkbaar met de takken van een varen of de kustlijn van een land. De studie vergeleek twee verschillende benaderingen. De eerste gebruikte de standaard middelingmethode, die elk deeltje behandelt alsof het wordt omringd door een uniforme, gladde achtergrond. De tweede gebruikte het zelf-aandachtsmechanisme, dat het model in staat stelt zich intensief te concentreren op de specifieke afstand en relatie tussen twee willekeurige deeltjes.
De resultaten waren scherp en definitief. Wanneer het model de middelingmethode gebruikte, slaagde het er volledig niet in om de complexe fractale structuur te vatten. In plaats van de ingewikkelde, herhalende zakken van het patroon te zien, produceerde het model een gladde, kenmerkloze klomp. Het was alsof het model alle scherpe randen en fijne details had gladgestreken, waardoor slechts een generieke vorm overbleef die geen enkele gelijkenis vertoonde met de ware fysica. Het model kon simpelweg de specifieke correlaties tussen de deeltjes niet vasthouden die nodig waren om de fractale vorm te genereren. Echter, toen de onderzoeker de middelingmethode verving door het zelf-aandachtsmechanisme, herstelde het model onmiddellijk de complexe structuur. Het reproduceerde succesvol de geneste, zelf-gelijkvormige zakken en de scherpe, ingewikkelde grenzen die het fractale patroon definieerden.
De studie gaat verder door uit te leggen waarom dit gebeurt door te kijken naar hoe de modellen reageren wanneer deeltjes dichter bij elkaar komen. In het echte fysieke systeem verandert de kracht tussen twee deeltjes drastisch en onmiddellijk wanneer zij elkaar naderen, terwijl het effect op verre deeltjes klein blijft. Het middelingmodel gedraagt zich echter anders. Wanneer twee deeltjes dicht bij elkaar komen, zendt het model deze intense lokale verandering onjuist uit naar elk deeltje in het systeem, alsof de hele groep door dezelfde beweging wordt geschud. Dit creëert een "crosstalk"-fout waarbij verre deeltjes onterecht worden beïnvloed door een lokale gebeurtenis. Het zelf-aandachtsmodel isoleert daarentegen de intense interactie correct tot slechts de twee betrokken deeltjes, waardoor de verre deeltjes onveranderd blijven. Dit vermogen om onderscheid te maken tussen lokale, sterke interacties en verre, zwakke interacties is wat het zelf-aandachtsmodel in staat stelt de ware, complexe gedragingen van het systeem te reconstrueren.
Het artikel concludeert dat dit succes geen toeval is. Het suggereert dat omdat de fundamentele natuurwetten zijn gebouwd op interacties tussen paren deeltjes, de meest effectieve manier om deze systemen te modelleren het gebruik van een instrument is dat wiskundig equivalent is aan het direct berekenen van die paar-gebaseerde interacties. Het zelf-aandachtsmechanisme, met zijn vermogen om de relatie tussen twee willekeurige items in een verzameling dynamisch te wegen, blijkt het perfecte instrument voor deze taak te zijn. Het voert effectief een complexe wiskundige operatie uit die bekend staat als een Dyson-iteratie, een standaardmethode in de fysica om te beschrijven hoe deeltjes elkaar beïnvloeden in een drukke omgeving. De studie demonstreert dat hoewel eenvoudige middeling voldoende is voor taken waarbij deeltjes onafhankelijk optreden of waar alleen lokale energie van belang is, het fundamenteel onbekwaam is om de rijke, niet-lokale correlaties te vatten die complexe kwantummaterie definiëren.
Deze bevinding biedt een diepe theoretische reden voor de recente dominantie van aandacht-gebaseerde modellen in kunstmatige intelligentie. Het suggereert dat de reden waarom deze modellen zo goed werken in zoveel verschillende fysieke systemen, is dat ze van nature zijn afgestemd op de manier waarop het universum is opgebouwd. Ze zijn niet alleen toevallig goed in patroonherkenning; ze zijn structureel ontworpen om de specifieke typen paar-gebaseerde verbindingen te verwerken die het gedrag van materie beheersen. Voor wetenschappers die proberen de meest complexe toestanden van materie te begrijpen, van het gedrag van elektronen in een supergeleider tot de dynamica van geëxciteerde moleculen, geeft de studie aan dat de weg vooruit ligt in het omarmen van deze paar-gebaseerde interacties in plaats van ze weg te middelen. De "onredelijke effectiviteit" van aandacht in machine learning is in deze visie simpelweg het besef dat in een universum dat is gebouwd uit paren, het vermogen om op paren te focussen alles is wat werkelijk nodig is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.