When data lie: correcting a conflict variable reverses a significant finding in Chad's agricultural time series (1961–2024)

In de uitgestrekte, door de zon verschroeide landschappen van de Sahel is landbouw een gok met hoge inzet die wordt gespeeld tegen de lucht. Voor miljoenen mensen in landen als Tsjaad hangt het verschil tussen een volle maag en een lege maag af van het ritme van de regen en de stabiliteit van het land. Wetenschappers proberen al lang te begrijpen hoe groot de invloed van deze twee krachten — klimaat en conflict — precies is op de oogsten. Ze kijken naar gegevens die decennia teruggaan, zoekend naar patronen die kunnen helpen bij het voorspellen van hongersnood of het sturen van beleid. Maar deze zoektocht rust volledig op de nauwkeurigheid van de registers die door onderzoekers worden bijgehouden. Als de cijfers in een spreadsheet fout zijn, zelfs maar een klein beetje, kan het hele verhaal dat ze vertellen een leugen zijn. Dit is geen kwestie van kwaadwillende misleiding, maar eerder van de stille, accidentele accumulatie van fouten die optreden wanneer bestanden van hand tot hand gaan zonder zorgvuldige controle.

Een recente studie gericht op Tsjaad, een land waar bijna zeventig procent van de beroepsbevolking afhankelijk is van landbouw, legt uit hoe fragiel deze conclusies kunnen zijn. Het land heeft een complexe geschiedenis van geweld gekend, van een lange burgeroorlog in het midden van de twintigste eeuw tot diverse opstanden en insurgenties in de decennia die volgden. Onderzoekers wilden weten hoe dit vechten, gecombineerd met veranderende neerslagpatronen, de oogsten van drie basisgewassen beïnvloedde: gierst, sorghum en maïs. Hiervoor vertrouwden zij op een dataset die bijhield of het land in oorlog of in vrede was voor elk jaar van 1961 tot 2024. De initiële analyse suggereerde een verbijsterend resultaat: dat jaren van gewapend conflict daadwerkelijk leidden tot hogere opbrengsten van gierst. Deze bevinding leek robuust en statistisch significant, wat leidde tot een conclusie die de manier waarop experts de relatie tussen oorlog en voedselzekerheid in de regio zien, zou hebben hervormd.

De auteur van deze studie, Abderamane Mahamat Abdel-Aziz, besloot echter terug te gaan naar de bron. In plaats van de spreadsheet te vertrouwen zoals die was, vergeleek hij de gegevens systematisch met de oorspronkelijke, primaire databases waar de informatie voor het eerst werd vastgelegd. Hij controleerde vier verschillende bronnen: de registers voor gewasopbrengsten, klimaatgegevens, het gebruik van meststoffen en de geschiedenis van gewapend conflict. Dit verificatieproces onthulde twee grote problemen. Ten eerste waren de getallen voor de gewasopbrengst door een cyclische fout met duizend vermenigvuldigd, wat een volledige herbouw van dat deel van de data vereiste. Ten tweede, en nog kritieker, was het verslag van gewapend conflict fundamenteel defect. Het oorspronkelijke bestand telde de jaren van de grote burgeroorlog van 1965 tot 1987 slechts als tijden van conflict. Het beschouwde de resterende decennia als vredig en negeerde daarmee de decennia aan actieve strijd die wel goed gedocumenteerd waren in officiële internationale registers.

Toen de onderzoeker deze fout corrigeerde, door de conflictvariabele zo te coderen dat de ware geschiedenis van geweld over de gehele zesenzestigjarige periode werd weerspiegeld, veranderde het verhaal volledig. De voorheen significante bevinding dat oorlog de giersteroogsten stimuleerde, verdween. De statistische link tussen conflict en hogere opbrengsten vervaagde, wat een resultaat opleverde dat helemaal geen effect liet zien. Het idee dat vechten boeren hielp om meer voedsel te verbouwen, was geen verborgen waarheid die wachtte om ontdekt te worden; het was een statistische illusie gecreëerd door ontbrekende gegevens. De gecorrigeerde analyse toonde aan dat het land tijdens bijna de helft van de onderzochte jaren feitelijk in oorlog was, maar het oude bestand had deze jaren als vrede gelabeld. Deze fout had een valse correlatie gecreëerd waardoor het leek alsof de gewassen floreerden tijdens de verkeerde jaren.

Met de correctie van de conflictvariabele kwam er een ander, betrouwbaarder patroon aan het licht met betrekking tot het weer. De studie bevestigde dat neerslagpatronen, gemeten aan de hand van een standaardindex van droogte en natheid, een duidelijk en positief effect hadden op de oogsten van gierst en sorghum. Wanneer de regen goed was, groeiden deze gewassen beter. Dit effect was sterk en consistent, passend bij wat agronomen verwachten van gewassen die volledig afhankelijk zijn van de regen. Maïs, dat vaak in de nattere zuidelijke gebieden wordt verbouwd en mogelijk andere behoeften heeft, vertoonde in deze specifieke analyse geen dergelijke duidelijke link met de neerslagindex. De studie vond ook dat het gebruik van stikstofmeststof de sorghumopbrengsten hielp, maar de oogsten van de andere twee gewassen niet significant veranderde.

De belangrijkste les van dit werk gaat niet over de specifieke gewassen van Tsjaad, maar over de noodzaak om de feiten te controleren voordat men conclusies trekt. De studie demonstreert dat een enkele fout in de codering van een variabele een bevinding die zeer significant lijkt, kan omdraaien. Het laat zien dat in het complexe veld van de studie naar de Afrikaanse landbouw, waar gegevens vaak uit veel verschillende bronnen worden samengesteld, de handeling van verificatie niet slechts een luxe voor experts is, maar een basisvereiste voor geloofwaardigheid. Door terug te keren naar de primaire registers en het verslag van het conflict te corrigeren, heeft de onderzoeker niet alleen een getal gecorrigeerd; hij heeft het narratief gecorrigeerd, waardoor hij ervoor zorgt dat toekomstige beleidsmaatregelen en wetenschappelijke inzichten worden gebouwd op de realiteit van het land, en niet op de fouten van een spreadsheet.