Detecting Differences Is Not Understanding Structure: Large Language Models Fail at Graph Isomorphism
Dit artikel onthult dat het schijnbare succes van grote taalmodellen bij het detecteren van graafisomorfisme illusoir is, aangezien ze er niet in slagen identieke grafen met gepermuteerde knooplabels te herkennen, wat erop wijst dat ze vertrouwen op oppervlakkige patronen in plaats van op werkelijke structurele redenering.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het Grote Idee: "Een Gezicht Herkennen versus een Naam Herkennen"
Stel je voor dat je een vriend hebt, laten we hem Bob noemen. Je kent Bob heel goed. Je kent zijn gezicht, zijn stem en hoe hij loopt.
Stel je nu voor dat iemand je een foto van Bob geeft, maar ze hebben zijn naamkaartje digitaal veranderd van "Bob" naar "Charlie".
- Een scherpe waarnemer kijkt naar de foto, ziet het gezicht en zegt: "Dat is nog steeds Bob, alleen met een nieuw naamkaartje."
- Een patroonherkennende robot kijkt naar de foto, ziet dat het naamkaartje "Charlie" zegt, en raakt in paniek. Hij denkt: "Dit is niet Bob! De naam is anders, dus de persoon moet ook anders zijn!"
Dit papier gaat over het testen van Large Language Models (LLMs) om te zien of zij de "scherpe waarnemer" of de "patroonherkennende robot" zijn als het gaat om het begrijpen van vormen en verbindingen (grafen).
De Test: De "Graaf-isomorfisme" Puzzel
In de wiskunde is er een puzzel genaamd Graaf-isomorfisme. Deze vraagt: "Zijn deze twee vormen eigenlijk hetzelfde, zelfs als ze er op papier anders uitzien?"
Denk aan een graaf als een kaart van een metrosysteem.
- Graaf A vermeldt stations als "Stop 1, Stop 2, Stop 3."
- Graaf B vermeldt exact dezelfde stations als "Station Alpha, Station Beta, Station Gamma."
Als de verbindingen tussen de stops identiek zijn, zijn de kaarten hetzelfde (isomorf). Een echt begrip van de kaart betekent dat je weet dat de structuur hetzelfde is, ongeacht wat je de stops noemt.
Wat de onderzoekers deden
De onderzoekers gaven drie populaire AI-modellen (GPT-4o, Gemini en Llama) een reeks tests met twee delen:
Deel 1: De "Makkelijke" Test (Verschillen Spotten)
Ze lieten de AI paren kaarten zien. Sommige waren duidelijk verschillend (zoals een metro met 5 stops versus een met 10 stops).
- Het Resultaat: De AI-modellen waren geweldig. Ze scoorden bijna 100% correct. Ze konden gemakkelijk zien wanneer twee kaarten totaal verschillend waren.
Deel 2: De "Lastige" Test (De Naamverandering)
Hier vond de echte test plaats. Ze namen een kaart, hielden de structuur exact hetzelfde, maar veranderden de namen van de stops (bijvoorbeeld door "Stop 1" te veranderen in "Stop 5").
- De Vraag: "Zijn deze twee kaarten hetzelfde?"
- De Verwachting: Omdat de structuur niet veranderde, zou het antwoord "Ja" moeten zijn.
- De Realiteit: De AI-modellen faalden jammerlijk.
- Wanneer de namen werden door elkaar gehusseld, zeiden de modellen: "Nee, deze zijn verschillend!"
- Ze werden gefopt door de verandering in labels. Ze zagen de onderliggende vorm niet; ze zagen alleen dat de tekstlabels anders waren.
De Analogie: Het "Recept" versus de "Ingrediëntenlijst"
Stel je voor dat je een cake bakt.
- De Structuur: Het recept (meng bloem, voeg dan eieren toe, bak dan).
- De Labels: De namen van de ingrediënten (bijvoorbeeld "Bloem" versus "Tarwepoeder").
Als je een recept schrijft met "Tarwepoeder" in plaats van "Bloem", maar de stappen zijn identiek, dan is de cake hetzelfde.
- Echt Begrip: Je weet dat het proces de cake maakt, niet de specifieke woorden die worden gebruikt.
- De Fout van de AI: De AI gedraagt zich als een chef die denkt: "Als de ingrediëntenlijst 'Tarwepoeder' zegt in plaats van 'Bloem', dan is dit een compleet ander recept!" Het raakt in de war door de woorden, niet door de logica.
De Conclusie: "Verschillen Detecteren is Niet het Begrijpen van Structuur"
De hoofdtitel van het paper zegt het al: "Detecting Differences Is Not Understanding Structure" (Verschillen detecteren is niet het begrijpen van structuur).
De AI-modellen zijn erg goed in het spotten van oppervlakkige verschillen (zoals een verschillend aantal knopen of verschillende labels). Maar ze begrijpen de abstracte vorm of structuur van de graaf niet echt. Ze zijn slechts bezig met het matchen van patronen in de tekst.
- Als je de knopen hernoemt: Denkt de AI dat de graaf is veranderd.
- Als je de structuur behoudt maar de tekst verandert: Faalt de AI om in te zien dat het hetzelfde ding is.
Waarom dit ertoe doet (volgens het paper)
De auteurs waarschuwen ons om niet misleid te worden door de hoge scores die de AI haalt op "makkelijke" graaf-tests. Alleen omdat een AI twee verschillende kaarten uit elkaar kan houden, betekent niet dat hij echt begrijpt hoe kaarten werken.
Als je deze AI-modellen vertrouwt voor taken waarbij de structuur cruciaal is (zoals het analyseren van complexe netwerken of moleculen), kun je het verkeerde antwoord krijgen, simpelweg omdat iemand de labels op de gegevens heeft veranderd. Het paper suggereert dat we, voordat we AI met deze taken vertrouwen, moeten testen of ze met "door elkaar gehusselde namen" om kunnen gaan zonder in paniek te raken. Momenteel kunnen ze dat niet.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.