Technische Samenvatting: Generalisatie of Memoriseren? Broosheidstesten voor op Schaak Getrainde Taalmodellen

Probleemstelling

Recente literatuur heeft beweerd dat het fine-tunen van grote taalmodellen (LLM's) op schaakdata hen in staat stelt de regels van het schaken te begrijpen, op professioneel niveau te spelen en door experts onderbouwde uitleg te genereren. Deze claims zijn echter vaak gebaseerd op benchmark-scores die patroonherkenning kunnen verwarren met werkelijk redeneren of regelbegrip. Het artikel identificeert een kritieke methodologische kloof: bestaande evaluaties onderscheiden vaak niet tussen het vermogen van een model om schaaklogica te generaliseren en zijn capaciteit om specifieke bordstanden of puzzelpatronen te memoriseren. Bovendien ontbreekt het aan robuuste baselines voor het vergelijken van gespecialiseerde, op schaak getrainde modellen met algemene modellen, en is er onvoldoende kritische toetsing van de geldigheid en "gezondheid" (het genereren van legale zetten) van modeloutput.

Methodologie

De auteurs stellen een rigoureuze evaluatiekader voor dat is gebaseerd op drie hoofdbestanddelen:

1. KinGPT-Baseline: De auteurs trainden KinGPT, een klein karaktergebaseerd taalmodel van 25 miljoen parameters, uitsluitend op paren van (positie, beste zet). Er werden drie varianten gemaakt om de impact van de data-distributie te testen:

   • KinGPT-Woodpecker: Getraind op ongeveer 13,3 miljoen unieke puzzelposities uit de Lichess-database.
   • KinGPT-Beaver: Getraind op ongeveer 54.000 posities ontleend aan zelfspel-games van Stockfish 18.
   • KinGPT-Chimera: Een combinatie van de bovenstaande twee corpora.
     Deze modellen dienen als baseline om aan te tonen dat hoge prestaties op puzzels bereikt kunnen worden door patroonherkenning op kleine schaal, zonder een algemeen "schaakbegrip".

2. Vergelijkende Evaluatie: De studie evalueert verschillende bestaande modellen tegen KinGPT en Stockfish 18 (als grondwaarheid) op een reeks van 600 mat-in-N-puzzels (100 mat-in-1, 200 mat-in-2, 300 mat-in-3). De geëvalueerde modellen omvatten:

   • Algemene LLM's: OpenLLaMa 3B en RedPajama 3B (voorafgaand aan fine-tuning).
   • Schaak-specialistische LLM's: ChessGPT (Base- en Chat-varianten), ChessLLM (op basis van OpenLLaMa) en C1-4B (op basis van Qwen).

3. Inferentiestrategieën: De auteurs testen vier promptings/inferentiemodi om robuustheid te beoordelen:

   • Normaal: Eén doorgang (pass@1).
   • Cheating: Eén doorgang waarbij de evaluatie van de puzzel (bijv. "mat in 3") aan de prompt wordt voorafgegaan.
   • Pass@10: Het nemen van 10 steekproeven van zetten en het selecteren van de beste.
   • LLM-Modulo: Een framework met een verificateur in de lus waarbij het model tot 10 zetten genereert, die vervolgens worden gefilterd door twee externe critici (schaakengines): één die de geldigheid van de zet controleert (legaliteit) en één die de nauwkeurigheid van de zet controleert (verbetering van de positie). Ongeldige zetten leiden tot opnieuw prompten met feedback.

4. Metingen:

   • Positienauwkeurigheid: Frequentie van het identificeren van de beste zet over alle posities.
   • Puzzelnauwkeurigheid: Frequentie van het oplossen van de volledige puzzel (alle zetten correct).
   • Gezondheid (Sanity): Frequentie van het genereren van een legale, parseerbare zet (inversie van de faalfrequentie bij parsing).

Belangrijkste Resultaten

1. Patroonherkenning versus Generalisatie

KinGPT-Chimera (25 miljoen parameters) behaalde 74,5% puzzelnauwkeurigheid en 84,6% positienauwkeurigheid op de mat-in-N-reeks, en presteerde beter dan de 3B-parameter ChessGPT en de 4B-parameter C1-4B op specifieke benchmarks. Opmerkelijk genoeg presteerde KinGPT-Beaver (uitsluitend getraind op zelfspel-data) slecht (2,2% puzzelnauwkeurigheid), wat suggereert dat puzzeloplossend vermogen niet goedkoop ontstaat uit algemene speldata alleen. Dit wijst erop dat hoge benchmark-scores in bestaande literatuur grotendeels het gevolg kunnen zijn van memoriseren van puzzelpatronen in plaats van diep regelbegrip.

2. De Effectiviteit van LLM-Modulo

Het LLM-Modulo-framework toonde aanzienlijke winsten voor algemene modellen:

• RedPajama 3B: De positienauwkeurigheid steeg van 1,2% (normaal) naar 21,2% (modulo). De gezondheid verbeterde van 19,3% naar 95,3%.
• OpenLLaMa 3B: De positienauwkeurigheid steeg van 0,7% naar 12,1%. De gezondheid verbeterde van 51,5% naar 81,3%.
  In tegenstelling hiermee profiteerden schaak-specialistische modellen (ChessGPT) meer van pass@10-steekproeven dan van het LLM-Modulo-framework, wat suggereert dat gespecialiseerde modellen bepaalde verificateursignalen al hebben geïnternaliseerd, waardoor externe verificatie minder transformatief voor hen is dan voor algemene modellen.

3. Discrepanties in Gerapporteerde Prestaties

De auteurs konden de dramatische prestatiewinsten die door Feng et al. [2023] werden gerapporteerd voor ChessGPT bij het gebruik van "cheating"-prompts (het verstrekken van het mat-in-N-aantal) niet repliceren. Waar Feng et al. een sprong rapporteerden van 26,5% naar 71,4%, observeerde deze studie slechts een statistisch niet-significante toename (van 27,9% naar 30,5%). Dit suggereert dat op schaak getrainde modellen broos kunnen zijn en sterk gevoelig voor promptformaten of puzzelmoeilijkheid.

4. Vergelijking met C1-4B

KinGPT-Chimera presteerde beter dan het 4B-parameter C1-4B-model in de algehele nauwkeurigheid van de eerste zet (70,3% versus 53,6%) over 20 puzzelthema's, inclusief basispatronen zoals "vork" en "pin". Bovendien genereerde KinGPT oplossingen met aanzienlijk minder tokens (10 versus 178 gemiddeld), wat het idee uitdaagt dat token-efficiëntie correleert met dieper redeneren.

Betekenis en Claims

Het artikel betoogt dat de indrukwekkende benchmark-prestaties van huidige op schaak getrainde LLM's grotendeels worden verklaard door patroonherkenning in plaats van een generaliseerbaar begrip van schaakregels. De auteurs claimen:

1. Broosheid van Gespecialiseerde Modellen: Hoge prestaties op specifieke puzzelreeksen garanderen geen robuustheid of generalisatie. Modellen kunnen op eigenaardige wijze gevoelig zijn voor promptformaten en falen om te generaliseren buiten hun trainingsdistributie.
2. Superioriteit van Verificateur-in-de-Lus: Voor goed gedefinieerde domeinen zoals schaken biedt het koppelen van een algemene LLM aan een externe verificateur (LLM-Modulo) een flexibeler, kosteneffectiever en robuuster alternatief dan trainen op enorme synthetische datasets. Het herstelt aanzienlijke prestaties voor algemene modellen en waarborgt de geldigheid van de output.
3. Noodzaak van Baselines: KinGPT dient als een noodzakelijke baseline om aan te tonen dat kleine modellen die puur op puzzeldata zijn getraind, grotere, complexere modellen kunnen overtreffen, waardoor de noodzaak van enorme schaal voor specifieke domeintaken in twijfel wordt getrokken als het doel patroonherkenning is.
4. Skepticisme ten opzichte van Interpretatie: Het artikel werpt twijfel op bij claims dat intermediaire redeneersporen in schaakmodellen echte interpretatie bieden. Zonder de correctheid van de redeneersporen zelf te verifiëren (niet alleen de uiteindelijke zet), kunnen deze sporen semantisch ongeldig zijn maar toch correcte output produceren, waardoor gebruikers mogelijk in de waan worden gebracht.

De auteurs concluderen dat toekomstige evaluaties van op schaak getrainde modellen prioriteit moeten geven aan pass@1-inferentie (aangezien real-world spelen geen 10 pogingen toestaat), strikte datascheiding tussen training en validatie moeten waarborgen, en frameworks met een verificateur in de lus moeten integreren om correctheid te garanderen.