On Functional Deviations About Functionals
Dit artikel ontwikkelt een algemeen kader voor het meten van dispersie door statistische functionalen toe te passen op absolute afwijkingen van een referentiewaarde, stelt belangrijke ongelijkheden vast die deze maten vergelijken, en illustreert hun gedrag over diverse distributies heen door middel van simulatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van data is weten wat de gemiddelde waarde van een groep is, vaak niet genoeg. Als een statisticus je vertelt dat het gemiddelde inkomen in een stad vijftig duizend dollar is, weet je nog steeds niet of iedereen in de buurt van dat bedrag verdient, of dat een paar miljardairs het cijfer omhoog trekken terwijl de meeste mensen moeite hebben om rond te komen. Om de ware aard van een groep te begrijpen, moet je ook meten hoe verspreid de waarden zijn. Deze spreiding wordt dispersie genoemd. Al meer dan een eeuw gebruiken wetenschappers een paar standaardinstrumenten om deze spreiding te meten, zoals de gemiddelde afstand van alle getallen tot het centrum, of de vierkantswortel van het gemiddelde van de gekwadrateerde afstanden. Deze instrumenten werken goed voor eenvoudige, evenwichtige groepen getallen, maar ze kunnen misleidend worden wanneer de data scheef is, extreme uitschieters heeft, of afkomstig is van een complexe mix van verschillende bronnen. De vraag hoe men deze spreiding het beste kan beschrijven, en welke wiskundige instrumenten te gebruiken wanneer de data rommelig is, blijft een essentieel onderdeel van de statistische wetenschap.
Een onderzoeker aan de Brainware University in India heeft onlangs een nieuwe manier voorgesteld om naar deze metingen te kijken. In plaats van de berekening van spreiding te behandelen als een enkel, vaststaand recept, stelt de onderzoeker voor om het te zien als een tweestaps-proces waarbij de keuzes die in elke stap worden gemaakt, onafhankelijk van elkaar van belang zijn. De eerste stap is het kiezen van een referentiepunt, of een "centrum", van waaruit de afstand van elk getal in de groep wordt gemeten. Dit centrum kan het gemiddelde zijn, de middelste waarde, of zelfs de meest voorkomende waarde. De tweede stap is het beslissen hoe je die afstanden samenvat. Je kunt het gemiddelde van alle afstanden nemen, de middelste afstand zoeken, of kijken naar de afstand die de bovenste tien procent van de groep beslaat. Door deze twee keuzes te scheiden, creëerde de onderzoeker een flexibel kader dat veel verschillende manieren kan genereren om spreiding te meten, inclusclusief bekende methoden en sommige die nog niet formeel zijn vergeleken.
De studie begon met het vaststellen van een reeks wiskundige regels die bepalen hoe deze verschillende metingen met elkaar samenhangen. De onderzoeker bewees dat als je de gemiddelde afstand van alle getallen tot een centrum wilt minimaliseren, de middelste waarde van de groep altijd een betere keuze is dan het gemiddelde. Met andere woorden: de gemiddelde afstand van getallen tot de middelste waarde zal nooit groter zijn dan de gemiddelde afstand van getallen tot het gemiddelde zelf. Dit geldt voor elke groep getallen, mits de getallen niet oneindig zijn. De onderzoeker toonde ook aan dat deze gemiddelde afstand altijd kleiner is dan de standaardmaat voor spreiding die in de meeste tekstboeken wordt gebruikt, die gebaseerd is op het kwadrateren van de afstanden. Deze regels bieden een solide fundament, waarbij zij aantonen dat voor bepaalde soorten data één methode wiskundig gegarandeerd efficiënter is dan een andere.
Om te zien hoe deze ideeën in de echte wereld uitpakken, voerde de onderzoeker een enorme computersimulatie uit. Ze genereerden driehonderdduizend willekeurige getallen voor zes verschillende soorten distributies, die variëren van perfect gebalanceerde groepen tot zeer scheve groepen met lange staarten van extreme waarden. Vervolgens berekenden ze de diverse maten van spreiding voor elke groep. De resultaten bevestigden de wiskundige regels: voor de gebalanceerde groepen, zoals de normale klokcurve of een uniforme spreiding, waren de gemiddelde afstand van de middelste waarde en de gemiddelde afstand van het gemiddelde bijna identiek. Echter, voor de scheve groepen, zoals de exponentiële distributie of de log-normale distributie, werd het verschil significant. In deze gevallen was de gemiddelde afstand berekend vanaf de middelste waarde merkbaar kleiner dan de afstand berekend vanaf het gemiddelde, soms met meer dan tien procent. Dit bevestigde dat wanneer data scheef is, de keuze van het centrum het verhaal verandert dat je over de spreiding vertelt.
De simulatie verkende ook wat er gebeurt als je kijkt naar de extremen van de spreiding in plaats van alleen naar het gemiddelde. Door specifieke punten in de distributie van afstanden te berekenen, zoals het punt waaronder negentig procent van de afstanden valt, ontdekte de onderzoeker dat deze "kwantiel"-maten details onthulden die het gemiddelde miste. Voor groepen met zware staarten of extreme uitschieters was het bovenste uiteinde van de spreiding veel groter dan het gemiddelde suggereerde. Dit betekent dat het vertrouwen op een enkele getal om de spreiding te beschrijven, het feit kan verbergen dat een klein deel van de data zich heel anders gedraagt dan de rest. De studie toonde aan dat het gebruik van een combinatie van deze verschillende maten een veel rijker en nauwkeuriger beeld geeft van de data dan enig enkel instrument dat zou kunnen bieden.
Een van de complexere onderdelen van de studie betrof de "modus", wat de meest voorkomende waarde in een groep is. In tegen tegenstelling tot het gemiddelde of de middelste waarde, wordt de modus niet gedefinieerd door een eenvoudige berekening, maar door het vinden van de piek van een curve die de data representeert. De onderzoeker vond dat deze methode veel gevoeliger is voor hoe de data wordt gladgestreken tijdens de berekening. Kleine veranderingen in de methode die wordt gebruikt om de piek te schatten, kunnen leiden tot verschillende resultaten, waardoor de op de modus gebaseerde maat voor spreiding minder stabiel is dan de andere. Dit suggereert dat hoewel de modus nuttig kan zijn voor het identificeren van de meest voorkomende waarde, het gebruik ervan als centrum voor het meten van spreiding zorgvuldige behandeling vereist en niet met dezelfde wiskundige zekerheid kan worden behandeld als het gemiddelde of de middelste waarde.
Het werk concludeert dat er niet één enkele "beste" manier is om te meten hoe verspreid data is. De beste keuze hangt volledig af van de vorm van de data en van de vraag die je probeert te beantwoorden. Als de data gebalanceerd is, werken de traditionele methoden goed. Als de data scheef is of extreme waarden heeft, biedt het gebruik van de middelste waarde als centrum en het kijken naar verschillende punten in de distributie van afstanden een helderder beeld. Het kader van de onderzoeker vervangt de oude instrumenten niet, maar ordent ze in een samenhangend systeem, waarbij precies wordt aangegeven wanneer en waarom één instrument verkozen zou moeten worden boven een andere. Door de keuze van het centrum te scheiden van de methode om de afstanden samen te vatten, biedt de studie een preciezere taal voor het beschrijven van de variabiliteit die bestaat in alles van financiële markten tot biologische metingen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.