📊 statistics

New Equivalence Tests for Approximate Independence in Contingency Tables

Dit artikel introduceert nieuwe asymptotische en bootstrap-gebaseerde equivalentietests voor benaderde onafhankelijkheid in twee-weg kruistabellen, met een computationeel efficiënte estimator voor grenspunten, en valideert hun prestaties door middel van simulaties en real-world toepassingen met een bijbehorende R-implementatie.

Oorspronkelijke auteurs: Vladimir Ostrovski

Gepubliceerd 2026-07-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Vladimir Ostrovski

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen: zijn twee dingen in je data echt met elkaar verbonden, of doen ze alsof? Misschien kijk je naar of oogkleur iets te maken heeft met haarkleur, of of het geslacht van een patiënt hun reactie op een specifiek medicijn verandert. In de wereld van de statistiek wordt dit "toetsen op onafhankelijkheid" genoemd.

Meestal zoeken detectives naar een perfecte match. Als de data geen 100% perfecte match is, zeggen ze: "Aha! Ze zijn verbonden!" Maar in het echte leven is niets ooit perfect perfect. Soms zijn twee dingen bijna onafhankelijk, net dichtbij genoeg zodat de kleine verschillen er niet echt toe doen. Dit is waar "benaderde onafhankelijkheid" om de hoek komt kijken.

Het probleem? De oude detective-tools waren een beetje onhandig. Ze vertrouwden op een methode die vereiste dat er telkens een enorme, ingewikkelde wiskundige puzzel werd opgelost (een "numerieke optimalisatie") om het antwoord te vinden. Het was alsof je probeerde een naald in een hooiberg te vinden door voor elk stukje hooi een nieuwe robot te bouwen. Het was traag, en de robot kwam soms vast te zitten.

De Nieuwe Detectivekit
Vladimir Ostrovski, een statisticus uit Keulen, Duitsland, heeft een gloednieuwe, slankere detectivekit gebouwd. In plaats van te worstelen met die zware wiskundige puzzel, heeft hij twee nieuwe, supersnelle manieren uitgevonden om de "afstand" te meten tussen je data en het idee van totale onafhankelijkheid.

Denk aan het meten hoe ver een wiebelende tafel verwijderd is van perfect vlak te zijn.

De "Absolute" Liniaal ( $d_a$ ): Deze meet het ruwe verschil. Het is alsof je controleert hoeveel millimeter het tafelbeen van de vloer af staat.
De "Relatieve" Liniaal ( $d_r$ ): Deze meet het verschil in verhouding tot de grootte van de tafel. Het is als vragen: "Is die wiebel enorm vergeleken met de grootte van de tafel, of is het maar een minuscuul stipje?"

Deze nieuwe linialen zijn gemakkelijk te gebruiken. Je hebt geen supercomputer nodig om ze af te lezen; je kunt het antwoord direct berekenen.

De "Bootstrap" Truc
Dit is het lastige deel: om te weten of je meting een "echt" verschil is of slechts een toevalstreffer veroorzaakt door een kleine steekproef, moet je de "kritieke waarde" kennen. Het is alsof je moet weten hoeveel wiebel te veel is voordat je de tafel als kapot bestempelt.

De oude manier berekende dit met een theoretische formule die geweldig werkt wanneer je miljoenen datapunten hebt, maar een beetje wiebelig wordt wanneer je er slechts een paar hebt. Om dit op te lossen, gebruikt de auteur een truc genaamd de bootstrap.

Stel je voor dat je een zak knikkers hebt die je data vertegenwoordigen. De bootstrap-methode is als het in de zak grijpen, een handvol eruit halen, een kopie maken, ze terugleggen, en dit duizenden keren herhalen om te zien hoe de resultaten heen en weer wiebelen. Dit geeft een veel nauwkeuriger beeld van wat er gebeurt met kleinere groepen data.

Maar er was een addertje onder het gras: om deze bootstrap-truc voor onafhankelijkheid te doen, moet je meestal een specifiek "grenspunt" vinden—een magische plek waar je data exact op de rand van onafhankelijkheid staat. Het vinden van dit punt was als het proberen te vinden van een specifiek zandkorreltje op een strand zonder kaart.

De Oplossing: Een Gerandomiseerde Kaart
De auteur loste dit op door een "gerandomiseerde estimator" te creëren. In plaats van te proberen dat ene perfecte zandkorreltje te vinden, werpt de methode een net over het strand. Het genereert een heleboel willekeurige "exterieure punten" (plekken die absoluut niet onafhankelijk zijn) en trekt vervolgens een lijn tussen je data en die punten om de grens te vinden.

Het is alsof je zegt: "Ik weet niet precies waar de rand van het bos is, maar als ik vanuit mijn huis richting een berg loop die ik weet dat ver weg is, zal ik uiteindelijk de rand bereiken." Dit maakt het hele proces snel en computationeel mogelijk, zelfs voor complexe tabellen.

Wat de Simulatiesen lieten Zien
De auteur heeft niet alleen gegokt; hij heeft een enorme simulatie-laboratorium opgezet. Hij maakte duizenden nep-datatabellen van verschillende groottes (van kleine $2 \times 4$ roosters tot enorme $5 \times 5$ roosters) en testte zijn nieuwe methode tegen de oude.

Het Goede Nieuws: De nieuwe "bootstrap"-tests zijn veel beter in het afhandelen van kleine steekproeven. Ze blijven veel trouwer aan de regels (het "nominale niveau" van 0,05) dan de oude "asymptotische" tests, die de neiging hadden om te voorzichtig (conservatief) te worden naarmate de tabellen groter werden.
Het Addertje: De tests zijn niet overal perfect. Als de data categorieën heeft met bijna nul mensen in ze (zoals een categorie waarbij de waarschijnlijkheid bijna nul is), kunnen de tests een beetje te enthousiast zijn om een verband te vinden (anti-conservatief). De auteur waarschuwt dat als je data lege of bijna lege vakjes heeft, je extra voorzichtig moet zijn.
De "Krimpend" Truc: Om de tests veiliger te maken, liet de auteur zien dat als je de "tolerantieparameter" (de hoeveelheid wiebel die je accepteert) verkleint naar 0,18, de tests zeer betrouwbaar worden en zelden valse alarmen geven.

Real-Life Tests
De auteur heeft deze nieuwe kit ook uitgeprobeerd op drie echte mysteries:

Nitrendipine Therapie: Heeft geslacht invloed op hoe patiënten reageren op dit bloeddrukmedicijn? Met een steekproef van 217 mensen suggereerden de nieuwe tests dat geslacht en de uitkomst ongeveer onafhankelijk zijn (ze zijn niet sterk aan elkaar gekoppeld).
Oog- en Haarkleur: Gaan bruine ogen altijd samen met bruin haar? De tests bevestigden wat we al weten: ze zijn niet onafhankelijk. De data toonde een sterke link, en de tests accepteerden onafhankelijkheid alleen als je een enorme hoeveelheid "wiebel" toestond (een tolerantie van ongeveer 0,58).
Kinderen en Inkomen: Hangt het aantal kinderen van een gezin af van hun inkomen? Deze dataset was enorm (25.263 mensen), maar sommige categorieën waren erg leeg. De tests suggereerden dat ze misschien ongeveer onafhankelijk zijn, maar de benadering was "zeer onnauwkeurig" vanwege die lege categorieën.

De Kern van het Verhaal
Dit artikel beweert niet het mysterie van onafhankelijkheid voor altijd te hebben opgelost. In plaats daarvan biedt het een nieuwe, snellere en betrouwbaardere set instrumenten voor statistici. Het vervangt een trage, zware wiskundige puzzel door een snelle, slimme berekening en een slimme "random walk"-methode om met kleine datasets om te gaan.

De auteur stelt een gratis "detectivekit" (softwarecode) online beschikbaar voor iedereen die deze wil gebruiken. Hoewel de tests in de meeste gevallen goed werken, waarschuwt het artikel expliciet dat ze met voorzichtigheid moeten worden gebruikt wanneer je te maken hebt met datacategorieën met zeer weinig inzendingen. Het is een krachtige nieuwe manier om naar de wereld te kijken, maar zoals elke goede detective, moet je nog steeds weten wanneer je de aanwijzingen dubbel moet controleren.

Technische Samenvatting: Nieuwe Equivalentietesten voor Benaderde Onafhankelijkheid in Contingentietabellen

Probleemstelling
Het artikel behandelt de statistische uitdaging van het testen op benaderde rij-kolom-onafhankelijkheid in tweedimensionale contingentietabellen. In tegenstelling tot traditionele onafhankelijkheidstesten, die trachten de nulhypothese van perfecte onafhankelijkheid te verwerpen, richt dit werk zich op equivalentietesten. Het doel is om de nulhypothese $H_0: \{d(p, M) \geq \varepsilon\}$ te testen tegen de alternatieve hypothese $H_1: \{d(p, M) < \varepsilon\}$ , waarbij $p$ de ware waarschijnlijkheidsmatrix is, $M$ het onafhankelijkheidsmodel (de verzameling van alle productmaten), $d$ een afstandmetriek en $\varepsilon > 0$ een vooraf gespecificeerde tolerantieparameter.

De auteur merkt op dat hoewel er eerdere methoden bestaan (bijv. Hodges en Lehmann, 1954; Diaconis en Efron, 1985; Liu en Lindsay, 2009; Wellek, 2010), deze vaak steunen op semiparametrische tolerantiegebieden of testen voor consistentie met volledig gespecificeerde multinomiale verdelingen. Een specifieke beperking die in het eerdere werk van de auteur (Ostrovski, 2018) werd geïdentificeerd, is de afhankelijkheid van numerieke optimalisatie om de minimale afstand $d(p, M)$ te berekenen, wat bootstrap-gebaseerde testen computationeel intensief maakt. Bovendien werd de existentie van een continue minimizer voor het onafhankelijkheidsmodel verondersteld maar niet bewezen, wat een theoretische kloof creëerde.

Methodologie
Het artikel stelt een raamwerk voor dat numerieke optimalisatie voor het onafhankelijkheidsmodel vermijdt door twee specifieike afstandmetrieken te introduceren die zijn afgeleid van transformaties van de waarschijnlijkheidsmatrix $p$ :

Absolute Afwijking ( $d_a$ ): Gedefinieerd via de transformatie $h_a(p) = (p_{ij} - r_i c_j)$ , waarbij $r$ en $c$ marginale waarschijnlijkheidsvectoren zijn. De afstand is $d_a(p, M) = l(h_a(p), 0)$ .
Relatieve Afwijking ( $d_r$ ): Gedefinieerd via de transformatie $h_r(p) = (p_{ij} / r_i c_j)$ . De afstand is $d_r(p, M) = l(h_r(p), 1)$ .

Hierbij is $l$ een differentieerbare afstand (specifiek de geschaalde Euclidische afstand in de simulaties). Deze metrieken maken de directe berekening van de minimale afstand tot het onafhankelijkheidsmodel mogelijk zonder iteratieve optimalisatie.

De auteur ontwikkelt twee soorten testen:

Asymptotische Testen: De teststatistieken worden gedefinieerd als $T_*(p_n) = \sqrt{n}(d_*(p_n, M) - \varepsilon)$ . Met behulp van de Delta-methode leidt de auteur de asymptotische Gaussische verdeling van deze statistieken af. De kritieke waarden worden berekend met de geschatte asymptotische variantie $\sigma_*(p_n)$ .
Bootstrap-testen: Om de prestaties bij eindige steekproeven te verbeteren, wordt een parametrische bootstrap-benadering geïntroduceerd. Een belangrijke innovatie is de ontwikkeling van een computationeel uitvoerbare randpunt-schatter ( $\tilde{p}_n$ $\tilde{p}_{n}$ ). Omdat de grens $\partial H_0$ $\partial H_{0}$ complex is en moeilijk te parametriseren, stelt de auteur een gerandomiseerde schatter voor. Dit houdt in:
- Het selecteren van een verzameling "externe" punten $Q$ waar $d_*(q, M) > \varepsilon$ .
- Het construeren van lineaire combinaties $c(p_n, q) = a_n p_n + (1-a_n)q$ zodanig dat de afstand tot het model gelijk is aan $\varepsilon$ .
- Het selecteren van de combinatie die de afstand tot de geobserveerde data $p_n$ minimaliseert als de schatter $\tilde{p}_n$ .
- Het gebruik van Monte Carlo-simulatie gebaseerd op $\tilde{p}_n$ om de kritieke waarde $c(\alpha, \tilde{p}_n)$ te schatten.

Belangrijkste Bijdragen

Analytische Vereenvoudiging: Het artikel biedt gesloten vorm-expressies voor de minimale afstand tot het onafhankelijkheidsmodel met behulp van $d_a$ en $d_r$ , waardoor de noodzaak voor de numerieke optimalisatie die vereist is in algemene methoden uit het verleden, wordt geëlimineerd.
Efficiënte Randschatting: Een gerandomiseerde schatter voor het randpunt is ontwikkeld, wat de bootstrap-test computationeel uitvoerbaar maakt voor contingentietabellen.
Theoretische Garanties: De auteur bewijst dat de voorgestelde randschatter consistent is (convergeert bijna overal naar het ware randpunt) onder specifieke condities en stelt de asymptotische normaliteit van de teststatistieken vast.
Implementatie: De testen zijn geïmplementeerd in R en online beschikbaar gesteld.

Resultaten
De prestaties van de voorgestelde testen werden geëvalueerd via simulatiestudies en toegepast op real-world datasets:

Prestaties bij Eindige Steekproeven:
- Power (Vermogen): De minimale tolerantieparameter $\varepsilon$ die nodig is om een power van 90% te bereiken, neemt af met de steekproefomvang ( $n^{-1/2}$ ) en neemt toe met de tabelgrootte ( $k_1 + k_2$ ).
- Type I-fout: Asymptotische testen bleken niet-conservatief voor kleine tabellen, maar zeer conservatief voor grotere tabellen. In tegen afzet behieldden bootstrap-testen de verwerpingskansen zeer dicht bij het nominale niveau ( $\alpha = 0,05$ ) over diverse tabelgroottes, hoewel de op $d_r$ gebaseerde bootstrap-test een neiging vertoonde tot anti-conservativiteit in specifieke randgebieden (waar marginale waarschijnlijkheden dicht bij nul liggen).
- Type II-fout: Het vermogen van $d_a$ -gebaseerde testen was relatief stabiel over verschillende punten, terwijl $d_r$ -gebaseerde testen een hoge variabiliteit vertoonden.
Toepassingen op Reële Data:
- Nitrendipine Therapie: Met een kleine steekproefomvang ( $n=217$ ) suggereerden zowel de asymptotische als de bootstrap-testen benaderde onafhankelijkheid tussen behandeluitkomst en geslacht.
- Oog- en Haarkleur: De testen verwierpen onafhankelijkheid correct voor zeer grote $\varepsilon$ , waarmee de bekende afwezigheid van onafhankelijkheid tussen deze variabelen werd bevestigd.
- Kinderen en Inkomen: Ondanks een grote steekproefomvang ( $n=25.263$ ) leidde de schaarste in de categorie "4+ kinderen" tot een laag vermogen voor $d_r$ -gebaseerde testen. De $d_a$ -gebaseerde testen suggereerden benaderde onafhankelijkheid, maar merkten op dat de benadering onnauwkeurig was.

Betekenis en Claims
Het artikel claimt een statistisch efficiënte en computationeel uitvoerbare methode te bieden voor het testen van benaderde onafhankelijkheid. Door numerieke optimalisatie en onbewezen aannames over de existentie van continue minimizers (die noodzakelijk waren in Ostrovski, 2018) te vermijden, biedt de voorgestelde methode een robuustere theoretische basis. De auteur benadrukt dat de bootstrap-testen, met name bij gebruik van de voorgestelde randschatter, superieure prestaties bij eindige steekproeven bieden vergeleken met asymptotische testen, vooral voor grotere contingentietabellen. Het werk wordt gepresenteerd als een praktische verbetering voor de statistische praktijk, waarbij de instrumenten beschikbaar zijn gesteld om toepassing te faciliteren.

Technische Samenvatting: Nieuwe Equivalentietesten voor Benaderde Onafhankelijkheid in Contingentietabellen

Meer zoals dit