On computation of a common mean

✨

Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Each language version is independently generated for its own context, not a direct translation.

Het Gouden Gemiddelde: Hoe vind je de waarheid als iedereen anders meet?

Stel je voor dat je een grote, oude eik in het bos wilt meten. Je vraagt vijf vrienden om de hoogte te noteren.

Vriend A zegt: "10 meter, maar ik ben niet zeker, dus het kan 9 of 11 zijn."
Vriend B zegt: "10,5 meter, en ik ben heel zeker, het is precies 10,5."
Vriend C zegt: "9 meter, maar mijn meetlat is een beetje krom."

Nu heb je een probleem: wie geloof je? En hoe groot is de foutmarge van je eindresultaat? Dit is precies het probleem waar de natuurkundige Zinovy Malkin in dit artikel over schrijft. Hij probeert een manier te vinden om verschillende metingen van hetzelfde ding samen te voegen tot één betrouwbaar antwoord.

Hier is wat hij ontdekt, vertaald naar alledaags taal:

1. De oude manier: "De gewogen gemiddelde" (WA)

Stel je voor dat je een koekjesrecept maakt. Als iemand zegt "voeg 100 gram suiker toe, maar ik heb een slechte weegschaal", en een ander zegt "voeg 100 gram toe, ik heb een dure digitale weegschaal", dan geef je meer vertrouwen aan de tweede persoon.

In de wetenschap noemen we dit de Gewogen Gemiddelde (WA). Je geeft een groter gewicht aan de metingen die "betrouwbaarder" lijken (kleine foutmarge) en minder gewicht aan de onzekerheden.

Maar hier zit de hak: Hoe bereken je de foutmarge van je eindresultaat?

Methode A (De optimist): "Kijk, we hebben de beste weegschalen gebruikt, dus ons eindresultaat is superprecies."
- Gevaar: Als de metingen van je vrienden heel erg van elkaar verschillen (bijvoorbeeld 9, 10 en 11), maar ze zeggen allemaal "ik ben zeker", dan is deze methode te optimistisch. Het negeert dat de metingen onderling niet overeenkomen.
Methode B (De realist): "Kijk, de metingen verschillen enorm, dus er moet iets mis zijn. Laten we de foutmarge groter maken om die verschillen te dekken."
- Gevaar: Deze methode negeert de feitelijke nauwkeurigheid van de meetinstrumenten. Als je vrienden allemaal met super-accurate lasers gemeten hebben, maar er is een klein toevalsverschil, maakt deze methode de foutmarge onnodig groot.

De oude manier was vaak een gok: "Is het verschil tussen de metingen toeval of een probleem?" Als je het verkeerd inschat, is je antwoord ofwel te klein (te optimistisch) of te groot (te pessimistisch).

2. De nieuwe oplossing: De "Hybride" methode

Malkin zegt: "Waarom kiezen? Laten we beide kanten meenemen."

Hij stelt een nieuwe formule voor die hij $\sigma_c$ noemt.

De analogie: Stel je voor dat je een boot bouwt. Je hebt twee soorten planken nodig:
1. Planken die de nauwkeurigheid van je gereedschap weergeven (de kleine foutjes van de meetinstrumenten).
2. Planken die de verscheidenheid van je metingen weergeven (het feit dat je vrienden verschillende antwoorden gaven).

De nieuwe methode pakt beide soorten planken en plakt ze samen tot een stevigere boot.

Als de metingen heel dicht bij elkaar liggen, kijkt de formule vooral naar de nauwkeurigheid van de instrumenten.
Als de metingen ver uit elkaar liggen, kijkt de formule vooral naar die grote verschillen en maakt hij de foutmarge groter.
Het mooie ervan: Je hoeft niet te gokken of het verschil "toeval" is of "fout". De formule doet het automatisch voor je. Het is als een slimme thermostaat die zowel de buitentemperatuur als de instelling van je verwarming meet om de perfecte temperatuur te vinden.

3. De "Middeling" (Mediaan)

Soms gebruiken wetenschappers ook de mediaan. Dat is het getal precies in het midden van een rij.

Voorbeeld: Als je metingen zijn 10, 10, 10 en 100 (waarbij 100 een rare fout is), dan is het gemiddelde 32,5 (verkeerd). De mediaan is 10 (goed).
De mediaan is erg sterk tegen "ruis" of rare uitschieters. Maar het is lastig om te zeggen hoe groot de foutmarge daarvan is. Malkin vindt dat de nieuwe "Hybride" methode vaak beter werkt voor kleine groepen metingen.

4. Wat betekent dit voor de echte wereld?

Malkin heeft dit getest met simpele getallen en met echte data, zoals:

Het meten van de hoogteverschillen tussen twee punten op de aarde.
Het berekenen van de "Oort-constanten" (hoe snel sterren in ons melkwegstelsel bewegen).

In al deze gevallen bleek dat de oude methoden soms te optimistisch waren (ze zeiden dat we het heel precies wisten, terwijl we het niet waren) of te onzeker. De nieuwe Hybride methode gaf het meest realistische antwoord: "We weten het ongeveer zo goed, rekening houdend met zowel onze meetinstrumenten als de verschillen in de resultaten."

Conclusie

Kort samengevat: Als je verschillende metingen van hetzelfde ding hebt, is het niet slim om alleen te kijken naar hoe goed de instrumenten waren, of alleen naar hoe verschillend de resultaten waren.

Deze paper zegt: Gebruik beide. De nieuwe methode combineert de "nauwkeurigheid van de meetlat" met de "werkelijkheid van de verschillende antwoorden" tot één eerlijke en realistische schatting. Het is een manier om te zeggen: "We zijn niet perfect, maar we zijn eerlijk over hoe onzeker we zijn."

Each language version is independently generated for its own context, not a direct translation.

Titel: Over de berekening van een gemeenschappelijk gemiddelde

Auteur: Zinovy Malkin (Pulkovo Observatory, Rusland)
Publicatie: arXiv:1110.6639v1 [physics.data-an], 30 oktober 2011

1. Het Probleem

Het combineren van meerdere onafhankelijke metingen van dezelfde fysische grootheid is een fundamentele taak in de metrologie en wetenschappelijke analyse (bijvoorbeeld bij het bepalen van fysische constanten). Het doel is om een schatting van het gemeenschappelijk gemiddelde ( $\bar{x}$ ) en een realistische bijbehorende onzekerheid ( $\sigma$ ) te verkrijgen.

De uitdagingen die dit probleem complex maken zijn:

Kleine steekproeven: Vaak zijn er slechts een paar metingen beschikbaar, wat de toepassing van veel statistische methoden beperkt.
Bias en onzekerheden: De invoerwaarden kunnen vertekend zijn en de gerapporteerde onzekerheden ( $s_i$ ) zijn niet altijd adequaat.
Onbekende verdeling: De onderliggende foutenverdeling is vaak onbekend.
Gebrek aan informatie: Correlaties tussen metingen zijn vaak niet beschikbaar, waardoor deze als oncorrelatieerd moeten worden behandeld.

Er bestaat geen eenduidige oplossing. De klassieke methode (gewogen gemiddelde) is alleen onbevooroordeeld met minimale variantie als de invoerwaarden onbevooroordeeld zijn en de varianties exact bekend zijn. In de praktijk is dit zelden het geval.

2. Methodologie

De auteur vergelijkt twee veelgebruikte benaderingen en stelt een nieuwe methode voor:

A. Gewogen Gemiddelde (Weighted Average - WA)

De klassieke WA-schatting ( $\bar{x}_w$ ) wordt berekend met gewichten omgekeerd evenredig aan de varianties ( $p_i = 1/s_i^2$ ). Het probleem ligt in de berekening van de onzekerheid ( $\sigma$ ) van dit gemiddelde. De auteur analyseert drie varianten:

$\sigma_1$ (Klassieke WA): $\sigma_1 = 1/\sqrt{p}$ . Deze hangt alleen af van de invoeronzekerheden ( $s_i$ ) en niet van de spreiding van de meetwaarden zelf. Dit leidt vaak tot onderschatting als er systematische fouten zijn.
$\sigma_2$ (Least Squares / Schaling): Deze schatting schaalt de onzekerheid op basis van de spreiding van de data (via de $\chi^2$ -statistiek $H$ ). Het is onafhankelijk van de absolute schaal van de invoeronzekerheden, maar alleen afhankelijk van hun verhouding. Dit negeert echter de oorspronkelijke onzekerheden van de metingen.
$\sigma_3$ (Selectie op basis van $\chi^2$ ): Een hybride aanpak waarbij wordt gekeken of de spreiding consistent is met de onzekerheden (gebruikmakend van een significantieniveau $Q$ ). Als $H$ te groot is, wordt $\sigma_2$ gebruikt, anders $\sigma_1$ . De auteur wijst hierop als problematisch omdat het resultaat sterk afhankelijk is van de subjectieve keuze van $Q$ en kan leiden tot sprongen in de uitkomst bij kleine data-veranderingen.

B. Mediaan (Median)

De mediaan ( $\bar{x}_m$ ) wordt beschouwd als een robuuste schatter die minder gevoelig is voor uitschieters. De onzekerheid wordt vaak geschat via de Mediaan van de Absolute Afwijkingen (MAD), zoals voorgesteld door Müller. Een nadeel is dat deze methode vaak de invoeronzekerheden ( $s_i$ ) negeert en alleen kijkt naar de data-spreiding.

C. De Nieuwe Aanpak: Gecombineerde Schatter ( $\sigma_c$ )

Om de tekortkomingen van de bovenstaande methoden te overkomen, stelt Malkin een nieuwe gecombineerde schatter voor voor de onzekerheid van het gewogen gemiddelde:
$\sigma_c = \sqrt{\sigma_1^2 + \sigma_2^2}$
Of equivalent:
$\sigma_c = \sqrt{\frac{1}{p} \left(1 + \frac{H}{n-1}\right)}$

Redenering: De auteur modelleert elke meting als $x_i = x + \epsilon_i + \epsilon'_i$ , waarbij $\epsilon_i$ een willekeurige fout is (met variantie $s_i^2$ ) en $\epsilon'_i$ een systematische fout is (met variantie $\sigma_0^2$ ). De schatter $\sigma_2$ wordt gezien als een schatting van deze systematische spreiding. Door de onzekerheid uit de invoer ( $\sigma_1$ ) en de onzekerheid uit de spreiding ( $\sigma_2$ ) kwadratisch te combineren, wordt een robuuste schatting verkregen die rekening houdt met beide bronnen van variatie.

3. Belangrijkste Bijdragen

Analyse van bestaande methoden: Een kritische evaluatie toont aan dat $\sigma_1$ vaak onderschat is bij discrepante data, terwijl $\sigma_2$ de invoeronzekerheden negeert. De selectiemethode ( $\sigma_3$ ) is te gevoelig voor subjectieve keuzes.
Introductie van $\sigma_c$ : Een eenvoudige, niet-subjectieve formule die zowel de invoeronzekerheden als de data-spreiding integreert zonder extra parameters (zoals significantieniveaus) te vereisen.
Validatie: De methode is getest met zowel gesimuleerde data als echte meetgegevens uit de geodesie en astronomie.

4. Resultaten

De tests met gesimuleerde en echte data (o.a. hoogteverschillen in een geodetisch netwerk en Oort-constanten) tonen het volgende aan:

Robuustheid: De $\sigma_c$ -schatting levert een stabiel en realistisch resultaat op, ongeacht of de metingen consistent zijn of grote spreiding vertonen.
Adaptiviteit:
- Bij kleine invoeronzekerheden en grote spreiding (discrepante data) domineert $\sigma_2$ in de som, wat leidt tot een realistische onzekerheid.
- Bij grote invoeronzekerheden en kleine spreiding (consistente data) domineert $\sigma_1$ .
- Bij gelijke bijdragen is het resultaat logisch tussenliggend.
Vergelijking met Mediaan: De mediaan is robuust, maar de berekening van de onzekerheid (via MAD) negeert vaak de bekende meetonzekerheden, wat kan leiden tot onderschatting.
Kleine steekproeven: De $\sigma_c$ -methode werkt goed zelfs bij zeer kleine steekproeven (2-3 metingen), waar andere statistische methoden vaak falen.

In de geteste gevallen (zoals de Oort-constanten) bleek de klassieke onzekerheid ( $\sigma_1$ ) vaak te optimistisch (ondergeschat) ten opzichte van de werkelijke spreiding, terwijl $\sigma_c$ een meer realistische onzekerheid bood die overeenkwam met de data.

5. Betekenis en Conclusie

De paper concludeert dat er geen perfecte, universele oplossing bestaat voor het berekenen van een gemeenschappelijk gemiddelde, maar dat de voorgestelde gecombineerde schatter ( $\sigma_c$ ) een praktische en effectieve oplossing biedt voor routine-toepassingen.

Praktische toepasbaarheid: De methode is eenvoudig te implementeren en vereist geen complexe aannames of bootstrapping.
Realistische onzekerheid: Het voorkomt zowel onderschatting (door het negeren van spreiding) als over-schatting (door het negeren van invoeronzekerheden).
Metrologische context: De auteur benadrukt dat deze berekende onzekerheid slechts het "Type A" (statistisch) deel van de totale meetonzekerheid vertegenwoordigt. Voor een volledig beeld moet ook "Type B" onzekerheid (gebaseerd op theoretische overwegingen en kennis van het meetproces) worden meegenomen, zoals vaak gedaan bij het bepalen van fysische constanten of referentiekaders.

De voorgestelde methode is bijzonder waardevol voor gebieden zoals de geodesie en astronomie, waar kleine steekproeven en discrepante metingen frequent voorkomen.