FormalTCS: Benchmarking End-to-End Frontier Formal Theoretical Computer Science Research of Large Language Models
Het artikel introduceert FormalTCS, een door experts gevalideerde benchmark die gebruikmaakt van grensverleggend onderzoek binnen de theoretische informatica (TCS) uit 2025–2026 om te onthullen dat huidige grote taalmodellen aanzienlijk moeite hebben met geautomatiseerd onderzoek van begin tot eind, voornamelijk vanwege ernstige beperkingen in autoformalizatie en het vermogen om nieuwe, hoogwaardige wiskundige beweringen te genereren.
Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Theoretische informatica is de studie naar hoe informatie wordt verwerkt en de fundamentele grenzen van wat berekend kan worden. Het is het fundament van de moderne technologie en biedt de wiskundige regels die bepalen welke problemen door machines kunnen worden opgelost en hoe efficiënt ze kunnen worden opgelost. Decennialang heeft dit vakgebied vertrouwd op menselijke wiskundigen om precieze definities te formuleren, logische argumenten op te stellen en te bewijzen dat hun conclusies onwrikbaar zijn. Onlangs is er een nieuw soort instrument opgekomen: large language models. Dit zijn kunstmatige intelligentiesystemen die zijn getraind op enorme hoeveelheden tekst en die kunnen lezen, schrijven en redeneren over complexe onderwerpen. Naarmate deze systemen krachtiger zijn geworden, zijn onderzoekers gaan vragen of ze meer kunnen dan alleen vragen beantwoorden of teksten samenvatten. Zouden ze daadwerkelijk zelfstandig wetenschappelijk onderzoek kunnen bedrijven, en nieuwe waarheden over computation ontdekken en deze bewijzen met dezelfde strengheid als een menselijke expert?
Een team van onderzoekers van het Harbin Institute of Technology zette zich af om deze vraag te beantwoorden door een nieuwe testomgeving genaamd FORMALTCS te bouwen. Ze wilden verder gaan dan eenvoudige quizzen of tekstboekopdrachten en zien of deze kunstmatige intelligentiesystemen de rommelige, moeilijke realiteit van grensverleggend onderzoek aankonden. Hiervoor verzamelden ze 175 echte onderzoeksproblemen uit de meest prestigieuze conferenties in het vakgebied, variërend van onderwerpen als algoritmen, complexiteit en machine learning-theorie. Dit waren geen verzonnen problemen; het waren de werkelijke kernontdekkingen uit papers die geaccepteerd waren in 2025 en 2026. De onderzoekers werkten vervolgens samen met menselijke experts om deze ontdekkingen te vertalen naar een formaat dat een computer kon verifiëren, waardoor een rigoureuze standaard ontstond waartegen de kunstmatige intelligentie gemeten kon worden.
De resultaten van dit experiment onthulden een scherp contrast tussen wat deze modellen kunnen begrijpen en wat ze daadwerkelijk kunnen doen. Wanneer de onderzoekers de modellen vroegen om een hoogwaardige samenvatting van een onderzoeksbevinding te lezen en de logica erachter in gewone taal uit te leggen, presteerden de modellen behoorlijk goed. Ze konden het grote plaatje vatten en de strategie van een bewijs met redelijke nauwkeurigheid beschrijven. Echter, op het moment dat de taak verschoof naar het vertalen van die ideeën naar een formele, wiskundige taal die een computer kon controleren, liepen de modellen tegen een muur aan. Dit proces, bekend als autoformalizatie, is de stap waarbij een menselijke onderzoeker een vaag idee omzet in een precieze set regels en definities. In deze cruciale fase slaagden de beste kunstmatige intelligentiemodellen er slechts in ongeveer 11,5 procent van de gevallen in. Daarentegen, wanneer de onderzoekers de modellen de precieze wiskundige definities gaven om mee te werken, waren de modellen in staat het uiteindelijke bewijs te construeren in ongeveer 28,6 procent van de gevallen.
Deze kloof suggereft dat de primaire hindernis voor kunstmatige intelligentie in dit veld niet het vermogen is om een logisch pad te volgen zodra dit is uitgezet, maar het vermogen om het pad zelf te bouwen. De modellen hebben moeite om een natuurlijke taalbeschrijving van een probleem om te zetten in de specifieke, eenduidige definities die vereist zijn voor de computer om de oplossing te verifiëren. Het is alsof de modellen een kaart kunnen lezen en de bestemming kunnen begrijpen, maar de kaart zelf niet kunnen tekenen. Bovendien was de uitkomst nog veelzeggender toen de onderzoekers een systeem bouwden dat de modellen in staat stelde om zelf nieuwe onderzoeksideeën vanuit het niets te genereren. Van de 64 nieuw gegenereerde claims door het systeem werden er slechts zes door menselijke experts als nieuw en waardevol genoeg beschouwd om het waard te zijn om te worden nagejaagd. De rest was ofwel te vergelijkbaar met bestaand werk, miste werkelijke significantie, of kon simpelweg niet bewezen worden.
De studie concludeert dat hoewel deze kunstmatige intelligentiesystemen beter worden in het begrijpen en bespreken van theoretische informatica, ze nog lang niet in staat zijn om onafhankelijk onderzoek te bedrijven. Ze missen de "smaak" of intuïtie die nodig is om te identificeren welke nieuwe ideeën echt de moeite waard zijn om te verkennen, en ze worstelen met de precieze vertaling van ideeën naar formele regels. De weg naar volledig autonome wetenschappelijke ontdekking in dit veld vereist het oplossen van twee afzonderlijke problemen: het verbeteren van het vermogen om ideeën te vertalen naar een rigoureuze wiskundige taal, en het ontwikkelen van een dieper gevoel voor wat een onderzoeksidee waardevol maakt. Totdat deze hindernissen zijn overwonnen, zal de rol van kunstmatige intelligentie in dit veld die van een krachtige assistent blijven, in plaats van een onafhankelijke onderzoeker.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.