Math Takes Two: A test for emergent mathematical reasoning in communication
Dit paper introduceert *Math Takes Two*, een nieuwe benchmark die onderzoekt of taalmodellen werkelijk wiskundig redeneren kunnen ontwikkelen door via communicatie zelfstandig een symbolisch systeem te creëren voor het oplossen van visuele taken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De Grote Vraag: Kan een computer echt "rekenen", of doet hij alleen maar alsof?
Stel je voor dat je een papegaai hebt die perfect kan zeggen: "Twee plus twee is vier." De papegaai klinkt heel slim, maar als je hem plotseling vraagt wat "zeven plus drie" is, kijkt hij je waarschijnlijk alleen maar glazig aan. Hij begrijpt de logica van getallen niet; hij heeft alleen het liedje uit zijn hoofd geleerd.
Veel moderne AI (zoals ChatGPT) werkt een beetje als die papegaai. Ze zijn fantastisch in het herkennen van patronen in taal, maar we weten niet zeker of ze echt begrijpen wat een "getal" of een "hoeveelheid" is. Ze volgen gewoon de weg die de mensheid al heeft uitgesleten in hun trainingsdata.
Het onderzoek "Math Takes Two" wil dit testen met een experiment dat lijkt op de geboorte van de beschaving.
Het Experiment: De "Stammenoorlog" van de Symbolen
De onderzoekers hebben een spel bedacht dat niet gaat over het oplossen van sommen uit een tekstboek, maar over communicatie.
Stel je twee ontdekkingsreizigers voor die op een onbewoond eiland zijn beland. Ze hebben geen geschreven taal, geen cijfers en geen rekenmachine. Ze hebben alleen maar een verzameling vreemde objecten (zoals stenen of schelpen) die ze in patronen op de grond leggen.
Het spel werkt zo:
- De Zender: Krijgt een plaatje te zien met een groep objecten (bijvoorbeeld een raster van 3 bij 4 stenen). Hij mag dit niet laten zien, maar moet een kort "geheimtaaltje" sturen naar de ontvanger. Hij mag alleen een paar basis-tekens gebruiken (zoals A, B, C, 1, 2, +, *).
- De Ontvanger: Krijgt alleen dat korte berichtje (bijvoorbeeld:
A*2+B). Hij moet vervolgens uit een stapel plaatjes het juiste plaatje kiezen dat bij dat berichtje hoort.
De crux: In het begin weten ze nog niet wat de tekens betekenen. Ze moeten samen een systeem uitvinden. Ze moeten ontdekken dat "A" misschien staat voor een bepaalde vorm, en dat "*" misschien betekent dat je de rijen moet vermenigvuldigen.
Waarom is dit zo bijzonder? (De Metafoor van de Kaart)
Normaal gesproken leren we computers wiskunde door ze een kant-en-klare landkaart te geven (de regels van de wiskunde die wij al kennen).
Dit onderzoek doet het anders. Ze geven de computer een leeg vel papier en een kompas en zeggen: "Ga maar eens zelf een kaart tekenen van dit gebied."
Als de AI erin slaagt om een systeem te bedenken waarmee hij ook objecten kan beschrijven die hij nog nooit eerder heeft gezien (bijvoorbeeld een groter aantal stenen of een nieuwe vorm), dan hebben we bewezen dat de AI niet alleen patronen herhaalt, maar echt abstracte regels heeft uitgevonden. Hij heeft dan een eigen "wiskundige taal" gecreëerd om de wereld te begrijpen.
Wat hebben ze tot nu toe gevonden?
De onderzoekers lieten ook mensen het spel doen (de "gouden standaard"). Mensen zijn ontzettend goed in het verzinnen van slimme trucjes en codes om de communicatie sneller te maken.
De huidige AI-modellen (de "robots") doen het nog niet zo goed als de mensen. Ze raken vaak in de war zodra ze een nieuw soort object of een groter aantal zien. Ze zijn nog een beetje de "papegaaien" van het experiment: ze begrijpen de regels van de bekende plaatjes, maar zodra de wereld verandert, weten ze niet meer wat ze moeten zeggen.
De Toekomst: Een AI die zelf de wetten van de natuur ontdekt
Het uiteindelijke doel is prachtig: we willen AI bouwen die niet alleen onze wiskunde herhaalt, maar die — net als Newton of de oude Mesopotamiërs — zelf de logica van de wereld ontdekt door simpelweg te kijken, te communiceren en te proberen de chaos om hen heen te ordenen in regels.
Kortom: We willen geen rekenmachine bouwen, we willen een ontdekkingsreiziger bouwen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.