Can we create a `race to the top' for weather forecasts to inform smallholder farmer decisions?

Voor miljoenen kleinschalige boeren in lage- en middeninkomenslanden komt het verschil tussen een overvloedige oogst en een verpest seizoen vaak neer op één enkele beslissing: wanneer te planten, wanneer te water geven of wanneer te oogsten. Deze keuzes zijn sterk afhankelijk van weten wat het weer zal gaan doen. Decennialang werd de belofte van betere weervoorspellingen tegengehouden door de enorme kosten en complexiteit van het genereren ervan. Traditionele weervoorspelling vereist enorme supercomputers en teams van experts, wat het moeilijk maakt om op maat gemaakte voorspellingen te produceren voor specifieke regio's of individuele boerderijen. Echter, een nieuwe golf van kunstmatige intelligentie heeft het landschap veranderd. Deze AI-modellen kunnen nu hoogwaardige weervoorspellingen produceren met slechts een fractie van het benodigde rekenvermogen, waardoor de deur wordt geopend voor startups, onderzoekers en lokale instanties om voorspellingen te creëren die specifiek zijn ontworpen voor agrarische behoeften.

Deze technologische verschuiving brengt een nieuwe uitdaging met zich mee. Omdat de drempel voor deelname is verlaagd, wordt de markt plotseling overspoeld met producten voor weervoorspellingen van variërende kwaliteit. Terwijl sommige van deze nieuwe modellen werkelijk nauwkeurig zijn, zijn andere gebrekkig, misleidend of simpelweg te onbetrouwbaar om het levensonderhoud van een boer aan toe te vertrouwen. Het gevaar is dat, zonder een manier om het goede van het slechte te onderscheiden, boeren en de organisaties die hen financieren, kunnen eindigen met het vertrouwen op goedkope, onnauwkeurige voorspellingen. Als een boer een kostbare fout maakt op basis van een slechte voorspelling, kan hij het vertrouwen in weersinformatie volledig verliezen, waardoor het hele systeem instort. De kernvraag is niet langer alleen hoe men betere voorspellingen kan maken, maar hoe men een systeem kan creëren waarin kwaliteit bewezen en vertrouwd kan worden.

Een team van onderzoekers van universiteiten en instellingen over de hele wereld heeft een oplossing voorgesteld voor dit probleem: een reeks duidelijke regels en standaarden om weervoorspellingen te evalueren voordat ze de boer bereiken. Hun werk, gepubliceerd in een recent artikel, stelt dat het huidige gebrek aan standaarden het risico inhoudt op een "race naar de bodem", waarbij kwalitatief minder goede voorspellingen de hoogwaardige verdringen. Om dit te voorkomen, stellen zij een "race naar de top" voor, waarbij weervoorspellers concurreren om hun nauwkeurigheid te bewijzen door middel van rigoureuze, transparante tests. De onderzoekers beweren niet dat ze een nieuw voorspellingsmodel hebben uitgevonden; in plaats daarvan hebben ze een kader voor verificatie gebouwd. Ze schetsen een checklist van principes waaraan elke voorspelling bedoeld voor agrarisch gebruik moet voldoen om als betrouwbaar te worden beschouwd.

Het eerste en meest cruciale principe is transparantie. De onderzoekers betogen dat een claim van nauwkeurigheid betekenisloos is, tenzij de methode die wordt gebruikt om die nauwkeurigheid te bewijzen voor iedereen zichtbaar is. Als een bedrijf beweert dat hun voorspelling beter is dan het gemiddelde, moeten ze precies laten zien hoe ze die verbetering hebben gemeten. Dit omvat het delen van de code en de gegevens die voor de test zijn gebruikt, zodat onafhankelijke experts op fouten kunnen controleren. Het artikel wijst op een veelvoorkomende valkuil waarbij een model er op papier goed uit kan zien, maar in de praktijk faalt omdat de testmethode gebrekkig was. Bijvoorbeeld, een model kan worden getest tegen een zeer zwakke baseline, waardoor het superieur lijkt terwijl het eigenlijk slechter is dan standaard, gratis beschikbare voorspellingen. De voorgestelde regels vereisen dat nieuwe voorspellingen worden vergeleken met de beste bestaande opties, inclusief open-source modellen en historische weerspatronen, om te garanderen dat ze een werkelijke verbetering bieden.

Een ander belangrijk aandachtspunt is het concept van "out-of-sample" vaardigheid. In eenvoudige bewoordingen betekent dit het testen van een model op weergegevens die het nog nooit eerder heeft gezien. De onderzoekers waarschuwen dat veel AI-modellen getraind worden op enorme hoeveelheden historische gegevens, en als ze worden getest op dezelfde gegevens waarvan ze hebben geleerd, kunnen ze simpelweg het verleden memoriseren in plaats van de toekomst te voorspellen. Dit is een vorm van overfitting. Om dit te voorkomen, eisen de voorgestelde standaarden dat voorspellers de trainingsgegevens strikt scheiden van de testgegevens. Ze moeten ook eerlijk zijn over eventuele beslissingen die tijdens de testfase zijn genomen, zoals het aanpassen van het model om beter te presteren op een specifieke reeks jaren. Als een model wordt aangepast op basis van de testresultaten, zijn die resultaten geen eerlijke maatstaf meer voor het vermogen om het onbekende te voorspellen.

Het artikel benadrukt ook dat een voorspelling relevant moet zijn voor de feitelijke beslissingen die een boer moet nemen. Een model kan uitstekend zijn in het voorspellen van de totale hoeveelheid regen over een maand, maar als een boer moet weten of het op een specifieke dag gaat regenen om zijn gewassen te oogsten, is die vaardigheid nutteloos. De onderzoekers wijzen erop dat veel voorspellingen falen omdat ze niet worden getest tegen de specifieke vragen die boeren stellen. Ze stellen voor dat voorspellers moeten aantonen hoe hun product een gebruiker helpt bij een specifieke beslissing, zoals het kiezen van het moment om zaden te planten. Bovendien moet de taal die in de voorspelling wordt gebruikt, begrepen worden door de boer. Een statistiek als "90% kans op regen" kan verkeerd worden geïnterpreteerd als een garantie voor een zware storm, wat een boer ertoe kan brengen onnodige voorzorgsmaatregelen te nemen. De voorgestelde standaarden suggereren dat voorspellers hun berichten testen met echte gebruikers om ervoor te zorgen dat de informatie duidelijk en actiegericht is.

De onderzoekers illustreren de inzet met twee waarschuwende verhalen. In het ene scenario verspreidt een overheid een voorspelling van een leidend mondiaal model omdat het goed scoort op standaardmetrieken. Echter, het model heeft een verborgen fout: het voorspelt regelmatig lichte regen op dagen die eigenlijk droog zijn. Hoewel dit de algemene score niet ruïneert, zorgt het ervoor dat boeren hun nauwe vensters voor de oogst missen, wat leidt tot oogstverlies. In een ander voorbeeld beweert een groep overstromingen te voorspellen door aan te tonen dat ze de data van de laatste drie grote overstromingen correct hadden. Een instantie investeert miljoenen in dit systeem, om er pas later achter te komen dat de groep alle keren dat zij een overstroming voorspelden die nooit plaatsvond, heeft genegeerd. Het model had "tien van de laatste drie overstromingen" voorspeld, een klassiek geval van cherry-picking van data om een hoog foutpercentage te verbergen. Deze voorbeelden laten zien waarom een simpele claim van succes niet genoeg is; het volledige beeld van de prestaties moet zichtbaar zijn.

Om deze problemen aan te pakken, stellen de auteurs een certificeringsproces voor. Ze zien een groep onderzoekers, meteorologische instanties en non-profitorganisaties voor zich die het eens wordt over een reeks principes waar voorspellers aan moeten voldoen. Deze groep zou nieuwe teams trainen in deze standaarden, certificeren dat de principes zijn nageleefd, en een consensus opbouwen over hoe de regels bij te werken naarmate de wetenschap evolueert. Het doel is om een vertrouwenswaardig zegel van goedkeuring te creëren waar financiers en overheden op kunnen vertrouwen. Als een voorspelling deze certificering draagt, betekent dit dat deze is getest tegen een rigoureuze checklist: de methoden zijn transparant, de vergelijking is eerlijk, de data is echt nieuw, en de boodschap is nuttig voor de boer.

Het artikel erkent dat dit een startpunt is, geen definitieve oplossing. De wetenschap van weervoorspelling evolueert snel, vooral door de opkomst van kunstmatige intelligentie, en de regels zullen moeten worden bijgewerkt naarmate er nieuwe uitdagingen ontstaan. De auteurs geloven echter dat het vaststellen van deze basisstandaarden essentieel is om te voorkomen dat de markt wordt overspoeld met onbetrouwbare producten. Door een systeem te creëren waarin kwaliteit wordt geverifieerd en transparant is, hopen zij het vertrouwen tussen voorspellers en de boeren die van hen afhankelijk zijn, te vergroten. Als dit slaagt, zou deze aanpak hoogwaardige voorspellingen naar honderden miljoenen mensen kunnen brengen, hen helpen betere beslissingen te nemen en hun levensonderhoud te beschermen tegen de onvoorspelbaarheid van het weer. De weg vooruit gaat niet alleen over betere technologie, maar over beter vertrouwen.