Do Tabular Foundation Models Agree with Themselves?
Dit artikel onthult dat Tabulaire Foundation Modellen (TFMs) er niet in slagen getrouwe gezamenlijke verdelingen te produceren omdat ze zowel de eisen van marginalisatie als van factorisatieconsistentie schenden over alle geëvalueerde datasets en taken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van naar aanwijzingen op een plaats delict te zoeken, zoek je naar aanwijzingen in een gigantische spreadsheet. Dit is de wereld van Tabulaire Foundation Modellen, een hot nieuw gebied binnen de kunstmatige intelligentie waar computers leren dingen te voorspellen op basis van rijen en kolommen met gegevens, zoals het voorspellen of een lening zal worden terugbetaald of wat de prijs van een huis zou kunnen zijn. Deze modellen zijn gebouwd op een slim idee genaamd Bayesiaanse inferentie, wat eigenlijk een chique manier is om te zeggen: "Laten we onze overtuigingen bijstellen op basis van nieuw bewijs." Denk aan een weervorsteller die begint met een algemene gok over regen, maar zodra hij donkere wolken ziet, zijn voorspelling bijstelt naar: "Oké, het gaat definitief regenen."
Lange tijd hoopten wetenschappers dat deze AI-modellen perfecte "weervorstellers" waren voor gegevens. Ze geloofden dat als je het model zou vragen om één ding te voorspellen, en vervolgens die voorspelling zou gebruiken om iets anders te raden, het hele verhaal dat het vertelt perfect zou aansluiten, net als een goed geschreven roman waarin elk hoofdstuk logischerwijs op het volgende volgt. Maar hier is de crux: in de echte wereld weten we vaak niet het "ware" antwoord om tegen te controleren. Het is alsoals proberen een essay van een student te beoordelen zonder dat je het antwoordmodel hebt. Dus in plaats van te vragen: "Heeft dit model gelijk?", stelden een groep onderzoekers een simpelere, lastigere vraag: "Vertelt dit model zichzelf wel een consistent verhaal?" Ze wilden weten of de AI gewoon willekeurige getallen verzint die toevallig goed lijken, of dat het daadwerkelijk de strikte regels van logica en waarschijnlijkheid volgt.
Het paper waar je zo over zult horen, getiteld "Do Tabular Foundation Models Agree with Themselves?", duikt direct in dit mysterie. De onderzoekers, onder leiding van Christian Klötergens en zijn team, besloten om de meest populaire AI-modellen voor tabulaire data (zoals TabPFN, TabICL en TabFM) door een rigoureuze "logica-test" te halen. Ze vroegen de modellen niet alleen om te voorspellen; ze vroegen hen om hetzelfde verhaal op twee verschillende manieren te vertellen en controleerden of de verhalen overeenkwamen.
Stel je voor dat je probeert de smaak van een mysterieuze smoothie te raden.
- Test 1 (Marginalisatie-consistentie): Je vraagt de AI: "Wat is de smaak van deze smoothie?" Vervolgens vraag je: "Als de smoothie rood is, welke smaak heeft hij dan? En als hij blauw is, welke smaak heeft hij?" Ten slotte meng je die twee antwoorden samen op basis van hoe waarschijnlijk het is dat de smoothie rood of blauw is. Als de AI consistent is, moet dit "gemengde" antwoord exact hetzelfde zijn als het eerste directe antwoord.
- Test 2 (Factorisatie-consistentie): Je vraagt de AI om het verhaal van de ingrediënten van de smoothie in twee verschillende volgordes te vertellen. Eerst raadt hij de vrucht, dan de zoetstof. Vervolgens raadt hij de zoetstof, en dan de vrucht. Als de AI de gegevens echt begrijpt, moet het uiteindelijke beeld van de smoothie identiek zijn, ongeacht welk ingrediënt hij als eerste raadde.
De onderzoekers voerden deze tests uit op een enorme variëteit aan echte datasets, van wijnkwaliteitsbeoordelingen tot auto prijzen, medische dossiers en meer. Ze gebruikten een wiskundige liniaal genaamd Total Variation Distance om te meten hoe ver de antwoorden uit elkaar lagen. Een score van 0 betekent dat het model perfect consistent is; een hogere score betekent dat het model zichzelf tegenspreekt.
De resultaten waren een schok. Elk model dat ze testten, faalde voor beide tests. Op elke dataset, zowel voor eenvoudige ja/nee-vragen (classificatie) als voor vragen over het voorspellen van getallen (regressie), gaven de modellen verschillende antwoorden afhankelijk van hoe de vraag gesteld werd. Het is alsof de AI je vertelde dat de smoothie "aardbei" was wanneer er direct naar werd gevraagd, maar wanneer je eerst naar de kleur vroeg, plotseling besloot dat het "blauwbes" was, ook al was de kleur hetzelfde.
Het paper vond dat hoewel sommige modellen iets beter waren in het vertellen van een consistent verhaal dan andere (bijvoorbeeld een model genaamd TabFM was de meest consistente classifier, en TabPFNv3 was de regressor die het dichtst bij consistentie kwam), geen van de modellen werkelijk consistent was. Sterker nog, de inconsistenties waren zo wijdverspreid dat de onderzoekers concludeerden dat deze modellen geen enkele, verenigde "gezamenlijke distributie" van de gegevens vertegenwoordigen. In gewone mensentaal: de modellen volgen niet de strikte wetten van de waarschijnlijkheid waar ze zich aan zouden moeten houden. Ze "hallucineren" in feite verschillende versies van de werkelijkheid, afhankelijk van de volgorde waarin je ze vragen stelt.
De auteurs ontdekten ook iets interessants: een "goede" voorspeller zijn (meestal het juiste antwoord geven) betekent niet dat je een "consistente" voorspeller bent. Een model kan heel nauwkeurig zijn in het raden van de prijs van een huis, maar kan zichzelf toch tegenspreken wanneer je het vraagt om zijn redenering in een andere volgorde uit te leggen. Dit suggereert dat consistentie een aparte, verborgen fout is die huidige benchmarks missen.
Dus, wat betekent dit voor de toekomst? Het paper zegt niet dat deze modellen nutteloos zijn — ze zijn nog steeds de beste hulpmiddelen die we hebben voor veel taken. Het klinkt echter als een luid alarm dat we deze modellen niet blindelings kunnen vertrouwen als we iets willen weten over complexe relaties tussen variabelen als we een logisch samenhangend verhaal nodig hebben. De onderzoekers suggereren dat toekomstige modellen gebouwd moeten worden met "consistentie" als een kernkenmerk, bijvoorbeeld door ze te trainen om deze tegenstrijdigheden te bestraffen, in plaats van alleen te focussen op het krijgen van het juiste eindantwoord. Tot die tijd moeten we onthouden dat deze krachtige AI-"detectives" geweldig zijn in het opsporen van aanwijzingen, maar dat ze soms verschillende versies van het verhaal vertellen, afhankelijk van wie er vraagt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.