📊 statistics

One of the Above, None of the Above: Why the Same Model Should Not Predict Both

Dit artikel betoogt dat het voorspellen van nieuwheid een expliciete scheiding vereist tussen categorieabsorptie en categorieopening binnen een goed gespecificeerde context, waarbij wordt aangetoond dat een eenvoudig combinatorisch nulmodel vaak beter presteert dan complexe rich-get-richer-modellen zoals het Pitman-Yor-proces wanneer de taakstructuur op de juiste wijze wordt verwerkt.

Oorspronkelijke auteurs: Lukasz Konowalek

Gepubliceerd 2026-08-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lukasz Konowalek

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Elke dag zijn onze geesten druk bezig met het indelen van de wereld in groepen. Wanneer je een nieuw woord hoort, een vreemd dier ziet of een nieuw type auto opmerkt, moet je brein beslissen: is dit iets dat ik al eerder heb gezien, of is dit iets volkomen nieuws? Dit beslissingsmoment van een fractie van een seconde is het verschil tussen het herkennen van een bekend gezicht en het opmerken van een vreemde. Decennialang hebben wetenschappers die onderzoeken hoe we leren en categoriseren, deze beslissing vaak behandeld als een enkele muntworp. Ze namen aan dat als een item niet in een bestaande groep past, het automatisch een nieuwe groep moet starten, en dat de wiskunde die beschrijft hoe we vasthouden aan oude groepen, dezelfde wiskunde is als die beschrijft hoe we nieuwe groepen starten.

Echter, een nieuwe studie suggereert dat dit eenvoudige beeld onjuist kan zijn. Het onderzoek, uitgevoerd door Lukasz Konowalek aan de Medische Universiteit van Warschau, betoogt dat het brein waarschijnlijk twee verschillende strategieën gebruikt voor deze twee taken. Eén strategie is voor het herkennen van wat je al weet, en een andere strategie is voor het beslissen wanneer er een nieuwe categorie moet worden gecreëerd. De studie laat zien dat het gebruik van een enkel model om beide gedragingen te verklaren leidt tot fouten, en dat de context waarin we leren — of we nu kijken naar een gesloten verzameling opties of een open, eindeloze stroom van mogelijkheden — de regels van het spel volledig verandert.

Om het experiment te begrijpen, stel je een stroom van informatie voor, zoals een gesprek, een video of een lijst met woorden. Terwijl je door deze stroom beweegt, vraag je jezelf constant af of het volgende item een herhaling is van iets dat je net hebt gezien of een nieuwe ontdekking. De onderzoekers namen vijf verschillende soorten real-world data om dit te testen. Ze keken naar hoe mensen woorden gebruiken in documenten, hoe ze naar mensen en objecten verwijzen in verhalen, hoe mensen spreken in gesprekken en hoe videobewerkers veranderingen in een scène markeren. In sommige van deze stromen is de lijst van mogelijke items vast en klein, zoals de beperkte set dialoagetags die in een specifieke software wordt gebruikt. In andere stromen is de lijst open en potentieel oneindig, zoals de eindeloze variëteit aan woorden of namen die we kunnen tegenkomen.

De onderzoekers bouwden computermodellen om te voorspellen wat er hierna zou gebeuren in deze stromen. Ze testten twee hoofdbenaderingen. De eerste benadering, die ze een "combinatorisch" model noemen, is een eenvoudige telmethode. Het kijkt alleen naar hoeveel verschillende items er tot nu toe zijn verschenen en hoeveel items er in totaal zijn, waarbij de frequentie van specifieke herhalingen wordt genegeerd. Het stelt een basisvraag: gegeven het aantal dingen dat ik heb gezien, op hoeveel manieren kan ik deze organiseren? De tweede benadering is een "rich-get-richer" model. Dit model gaat ervan uit dat als een item al veel vaker is verschenen, het ook waarschijnlijker is dat het opnieuw verschijnt. Het geeft extra gewicht aan populaire items, uitgaande van de aanname dat populariteit meer populariteit voortbrengt.

De studie vond dat het antwoord op de vraag welk model het beste werkt, volledig afhangt van wat de computer probeert te voorspellen. Wanneer de taak is om te voorspellen of een item een herhaling is van iets dat al eerder is gezien (absorptie), werkt het eenvoudige telmodel het best in open, oneindige stromen. Maar wanneer de taak is om te voorspellen of een item een volkomen nieuwe ontdekking is (opening), is het "rich-get-richer" model vaak beter. Verrassend genoeg keert dit patroon om wanneer de stroom een kleine, vaste lijst met opties heeft. In die gesloten systemen is het "rich-get-richer" model beter in het opsporen van herhalingen, terwijl het eenvoudige telmodel beter is in het opsporen van nieuwe items.

Dit "gekruiste" patroon is de kern van de ontdekking. Dit betekent dat geen enkele enkele wiskundige regel perfect kan verklaren zowel het herkennen van het bekende als het opmerken van het nieuwe. Hetzelfde model dat uitstekend is in het voorspellen dat een woord zal worden herhaald, is vaak slecht in het voorspellen dat een nieuw woord zal verschijnen, en vice versa. De onderzoekers testten dit idee ook in een gecontroleerd experiment waarbij mensen werden gevraagd items te categoriseren, waarbij zij vonden dat een model dat simpelweg controleerde of de taak een "nieuw" antwoord toeliet, beter presteerde dan complexe modellen die probeerden te voorspellen op basis van het verleden.

De resultaten suggereren dat onze geesten nieuwigheid niet behandelen als een simpel overblijfsel van herkenning. In plaats daarvan draait het brein waarschijnlijk twee aparte processen. Eén proces is afgestemd op de structuur van de huidige situatie, waarbij wordt gecontroleerd of een item in het bestaande patroon past. Het andere proces is afgestemd op de mogelijkheid van het onbekende, waarbij wordt beslist wanneer het huidige patroon niet langer voldoende is en een nieuwe categorie geopend moet worden. Dit onderscheid is cruciaal omdat het verandert hoe we kunstmatige intelligentie moeten bouwen en hoe we menselijk leren begrijpen. Als we willen dat machines leren zoals mensen, kunnen ze niet alleen goed zijn in het herkennen van patronen; ze moeten ook over een apart mechanisme beschikken om te weten wanneer ze het patroon moeten doorbreken en iets nieuws moeten starten. De studie concludeert dat de context van de taak — of de wereld gesloten en eindig is of open en eindeloos — bepaalt welke van deze twee mentale instrumenten we op elk gegeven moment moeten gebruiken.

Technische Samenvatting: "Een van de bovenstaande, geen van de bovenstaande: Waarom hetzelfde model niet beide mag voorspellen"

Probleemstelling
Nieuwigheidsdetectie wordt veelal gemodelleerd als een binair partitie-extensieprobleem: het bepalen of een nieuwe observatie behoort tot een bestaande categorie ("een van de bovenstaande") of een nieuwe categorie noodzaakt ("geen van de bovenstaande"). Standaardbenaderingen, met name Bayesiaanse species-samplingmodellen zoals het Chinese Restaurant Process (CRP) en het Pitman–Yor (PY) proces, behandelen het "openen" van een nieuwe categorie als de probabilistische residu van het "absorberen" van een item in een bestaande partitie.

Dit artikel betoogt dat deze formulering een fundamentele epistemische asymmetrie verhult. Absorptie is een oordeel over de vraag of een item kan worden opgelost binnen een reeds gegenereerde partitie, terwijl opening een oordeel is over de vraag of de actieve context een nieuwe responsidentiteit toestaat. Het behandelen van deze als twee zijden van hetzelfde generatieve proces brengt het risico met zich mee dat verschillende afhankelijkheden worden samengevoegd tot een enkele waarschijnlijkheid. Bovendien houden standaardmodellen vaak geen rekening met de specifieke "context" (lokale stroomeenheid, equivalentierelaties en de omvang van het taakprotocol-inventaris) die nieuwheidsoordelen betekenisvol maakt.

Methodologie
De studie operationaliseert nieuwheidsvoorspelling middels een door afhankelijkheidslogica geïnspireerd kader waarbij voorspellingsrijen worden gedefinieerd door een "afhankelijkheidsatoom" $a_t = (C_u, H_{<t}, r_t, z_t)$ .

Context ( $C_u$ ): Omvat de lokale stroomeenheid ( $u$ ), de equivalentierelatie ( $R_u$ ) die responsidentiteit definieert, en de omvang van het taakprotocol-inventaris ( $\kappa_{task}$ ).
Historie ( $H_{<t}$ ): Het prefix van eerdere episodes binnen dezelfde lokale eenheid.
Doelwit ( $z_t$ ): Een binaire label waarbij $z_t=1$ wijst op "opening" (een nieuwe identiteit) en $z_t=0$ op "absorptie" (hergebruik van een bestaande identiteit).

Het papier vergelijkt twee primaire voorspellers op gehouden data over vijf naturalistische datasets (GUM coreferentie, GUM lexicale recurrente, SWDA lexicale recurrente, SWDA dialoogacten en Kinetics-GEBD) en een reanalyse van de categorie-leerexperimenten van Navarro en Kemp (2017):

De Combinatorische Nul ( $x_{comb}$ ): Een voor blokgrootte blinde score afgeleid van log Stirling-getallen ( $\log S(N_t, K_t-1) - \log S(N_t, K_t) - \log K_t$ ). Het voorspelt nieuwheid enkel op basis van de verandering in het aantal toegestane partities, waarbij de bezettingsverdeling van bestaande klassen wordt genegeerd (geen "rich-get-richer"-effect).
Het Pitman–Yor Proces (PY): Een standaard species-samplingmodel dat "rich-get-richer"-dynamiek incorporeert, waarbij de waarschijnlijkheid om een bestaande blok te volgen proportioneel is aan de huidige bezetting ervan.

De analyse deelt de prestaties op in absorptie- ( $z_t=0$ ) en opening-regimes ( $z_t=1$ ) en test of de "winnaar" afhangt van de omvang van het taakprotocol-inventaris ( $\kappa_{task}$ ).

Kernbijdragen en Resultaten

Context is noodzakelijk: Het vervangen van lokale historie door globale corpus-historie leidt tot een significante verslechtering van de prestaties van zowel de $x_{comb}$ - als de PY-modellen. Dit bevestigt dat nieuwheidsvoorspelling niet enkel door een partitie wordt gedefinieerd, maar door de lokale context waarin die partitie wordt uitgebreid.
Het Gekruiste Regimepatroon: Het artikel toont aan dat geen enkel model universeel de andere overtreft over zowel absorptie- als openingregimes. In plaats daarvan keert de optimale voorspeller om op basis van de omvang van het taakprotocol-inventaris ( $\kappa_{task}$ $κ_{t a s k}$ ):
- Open Inventarissen ( $\kappa_{task} = \infty$ ): In datasets met open vocabulaire (bijv. GUM lexicale/coreferentie), presteert de combinatorische nul ( $x_{comb}$ ) beter dan PY op absorptie, terwijl Pitman–Yor beter presteert dan $x_{comb}$ op opening.
- Gesloten Inventarissen ( $\kappa_{task} < \infty$ ): In datasets met vaste, eindige inventarissen keert het patroon om op absorptie: Pitman–Yor presteert beter dan $x_{comb}$ . Op opening zijn de resultaten gemengd: $x_{comb}$ presteert beter dan PY in de Kinetics-GEBD dataset (het kleinste geval van een eindig inventaris), maar het resultaat voor SWDA dialoogacten (een groter eindig inventaris van 4 bevoegdheden) blijft onopgelost, aangezien het bootstrap-betrouwbaarheidsinterval nul bevat. Dit suggereert dat SWDA dialoogacten een grensgeval vertegenwoordigen in plaats van een duidelijke omkering van het patroon.
Nuance in Functionele Vorm: De exacte Stirling-gebaseerde combinatorische score is niet louter uitwisselbaar met eenvoudigere dichtheidssurrogaten (zoals $\log(N/K)$ ). In stromen met lage aantallen (specifiek Kinetics) biedt de exacte correctie voor eindige aantallen een reëel, meetbaar voordeel ten opzien van dichtheidsbenaderingen, wat suggereert dat de exacte vorm structurele eigenschappen van de stroom vastlegt die verder gaan dan eenvoudige dichtheid.
Reanalyse van Gecontroleerde Experimenten: In een reanalyse van Experiment 4 van Navarro en Kemp (2017) presteerde een structureel model dat een "taakpoort" incorporeert (die aangeeft of "geen van de bovenstaande" is toegestaan) en partitiedichtheid, zonder "rich-get-richer"-termen, beter dan de HG–CRP benchmark. Bovendien toonde een decompositie aan dat HG–CRP beter presteerde op "een van de bovenstaande" (absorptie), terwijl het poortmodel beter presteerde op "geen van de bovenstaande" (opening), wat het gekruiste patroon vindt in natuurlijke corpora weerspiegelt.

Betekenis en Claims
Het artikel pleit tegen de visie dat categorie-opening slechts het residu is van een enkel absorptieproces. In plaats daarvan stelt het dat absorptie en opening twee verschillende regimes zijn die door verschillende afhankelijkheidsstructuren worden beheerst:

Absorptie in open systemen wordt het best voorspeld door de combinatoriek van partitie-extensie (negerend van specifieke bezettingen).
Opening in open systemen vereist "rich-get-richer"-informatie (bezetting/persistentie).
In gesloten systemen keert de dynamiek om op absorptie, waarbij bezettingsinformatie de absorptie helpt. Op opening is het voordeel van het combinatorische model het duidelijkst in kleinere inventarissen zoals Kinetics, terwijl grotere eindige inventarissen zoals SWDA dialoogacten een onopgelost patroon vertonen, wat wijst op een grensgeval in plaats van een definitieve omkering.

De auteur concludeert dat toekomstige modellen van nieuwheid de regimes expliciet moeten scheiden. De combinatorische partitiescore moet worden behandeld als een "fixed-context null model". De tekortkomingen ervan zijn niet louter fouten, maar zijn informatief over de lokale stroomstructuur, wat aangeeft wanneer identiteit-specifieke persistentie (rich-get-richer effecten) noodzakelijk wordt. De resultaten suggereren dat het onderscheid tussen "een van de bovenstaande" versus "geen van de bovenstaande" niet moet worden behanden als een enkele waarschijnlijkheid met één achterliggend generatief proces, maar als twee onderscheiden operaties die mogelijk verschillende representatieve en control-processen rekruteren.

Technische Samenvatting: "Een van de bovenstaande, geen van de bovenstaande: Waarom hetzelfde model niet beide mag voorspellen"

Meer zoals dit