Assessment of accuracy of detection dog signaling behavior for the diagnosis of SARS-CoV-2 infection: A Canadian study

Deze Canadese studie concludeert dat detectiehonden SARS-CoV-2-infecties kunnen opsporen via zweetmonsters, maar benadrukt dat de nauwkeurigheidsschattingen aanzienlijk vertekend kunnen zijn door methodologische bias en dat gestandaardiseerde validatieprocedures noodzakelijk zijn voor betrouwbare resultaten.

De kern

Honden als neus-detectives: Een verhaal over COVID-19 en een Canadese proef

Stel je voor dat je op zoek bent naar een heel specifiek geurtje in een drukke supermarkt. Misschien het geurtje van versgebakken brood, of juist het geurtje van een verbrande boterham. Normaal gesproken heb je daar een neus voor nodig, maar wat als je die neus kunt trainen om het geurtje van een virus te ruiken? Dat is precies wat deze Canadese studie onderzocht: kunnen getrainde honden COVID-19 ruiken?

Hier is het verhaal van het onderzoek, verteld in simpele taal met een paar leuke vergelijkingen.

1. Het idee: De mens als geur-kaart

Wanneer iemand besmet is met het coronavirus, verandert de chemische samenstelling van hun lichaam. Het is alsof het virus een nieuwe "geurkaart" op de persoon plakt die niet zichtbaar is, maar wel ruikbaar. Deze honden zijn getraind om die specifieke geur te herkennen in zweet, net zoals een speurhond een verdachte op een vliegveld kan vinden.

2. Het experiment: Een school als hondentrainingscentrum

De onderzoekers in Canada (in Toronto en Montreal) deden een proef.

• De proefpersonen: Mensen die naar een COVID-19-afdeling kwamen, gaven een beetje zweet op een gaasje.
• De honden: Drie honden deden mee. Twee Labradors en één Duitse herder. Eén van de Labradors was een "groene" hond (een beginner zonder ervaring), de anderen waren ervaren "bedwants-detectives" die hun neus al eerder hadden gebruikt voor andere taken.
• De test: De honden moesten door een rijtje flesjes lopen. Sommige flesjes hadden zweet van een besmet persoon, andere van een gezond persoon. Als een hond het besmette flesje rook, mocht hij gaan zitten of naar de trainer kijken.

3. Het probleem: De "Gouden Standaard" is niet perfect

Normaal gesproken gebruiken onderzoekers de PCR-test (de bekende neus-uitstrijktest) als de "gouden standaard" om te weten wie echt ziek is. Maar in dit onderzoek dachten ze: "Is die PCR-test wel 100% perfect?"

Stel je voor dat je een weegschaal hebt om te kijken of iemand zwaar is. Als die weegschaal soms 1 kilo te weinig aangeeft, dan denk je dat iemand lichter is dan hij echt is. Zo werkt het ook met de PCR-test: hij kan soms een besmetting missen.

De onderzoekers gebruikten slimme wiskunde (een soort "geheime code" genaamd Bayesiaanse statistiek) om rekening te houden met deze foutjes in de PCR-test. Ze zeiden eigenlijk: "Laten we niet doen alsof de PCR-test de waarheid spreekt, maar laten we de honden eerlijk beoordelen, ook als de PCR-test soms fout zit."

4. De verrassende resultaten

Wat bleek er?

• De honden waren goed, maar niet perfect: De honden konden ongeveer 70% tot 78% van de besmette mensen ruiken. Dat klinkt misschien niet als 100%, maar voor een hond die door een rijtje flesjes loopt, is dat heel indrukwekkend.
• De valkuil van de "perfecte" PCR: Als de onderzoekers hadden gedaan alsof de PCR-test 100% perfect was, zouden ze denken dat de honden minder goed waren dan ze echt waren. Het was alsof je een goede student een slechte cijfer geeft omdat de leraar zelf een foutje in de toets had staan.
• De "herhaling"-valstrik: Een ander belangrijk punt was dat sommige honden dezelfde flesjes meer dan eens moesten ruiken. Het bleek dat als je dit niet goed rekent, de honden er beter uitzagen dan ze waren. Het is alsof je een speler in een spelletje twee keer dezelfde vraag stelt; hij weet het antwoord dan al, dus hij scoort beter, maar dat betekent niet dat hij het spel echt goed begrijpt.

5. De conclusie: Een veelbelovende neus, maar nog werk aan de winkel

De studie concludeert dat deze "neus-detectives" een geweldige, pijnloze en snelle manier kunnen zijn om grote groepen mensen te screenen (bijvoorbeeld op vliegvelden of in scholen).

Maar er is nog een "maar":

• De training moet heel streng en standaard zijn (iedere hond moet op dezelfde manier getraind worden).
• We moeten oppassen dat we de resultaten niet "opblazen" door dezelfde proefpersonen te vaak te testen.
• Het is nog geen vervanging voor de PCR-test, maar het kan een fantastisch eerste filter zijn.

Kort samengevat:
Deze honden zijn als super-snelle, niet-invasieve alarmbellen. Ze kunnen een virus ruiken dat we niet zien. Maar om te weten hoe goed ze echt zijn, moeten we de regels van het spel (de statistiek) heel streng hanteren, zodat we niet bedrogen worden door de onvolkomenheden van de andere tests of door het herhalen van dezelfde vragen. Het is een veelbelovend begin voor een toekomst waarin honden misschien wel onze eerste lijn van verdediging zijn tegen nieuwe virussen.

Technische samenvatting

Technische Samenvatting: Beoordeling van de nauwkeurigheid van signaleringsgedrag van detectiehonden voor de diagnose van SARS-CoV-2-infectie

1. Het Probleem
Tijdens de COVID-19-pandemie ontstond er een dringende behoefte aan snelle, niet-invasieve en kosteneffectieve screeningsmethoden voor SARS-CoV-2, aangezien standaardmethoden zoals RT-PCR (Reverse Transcriptie-Polymerase Chain Reaction) beperkingen hebben qua kosten, doorlooptijd en invasiviteit. Hoewel studies hebben aangetoond dat honden in staat zijn om vluchtige organische verbindingen (VOC's) te detecteren die door geïnfecteerde mensen worden uitgestoten, vertonen eerdere onderzoeken aanzienlijke methodologische tekortkomingen. De belangrijkste kritiekpunten zijn:

• Het gebruik van RT-PCR als een "perfecte" referentietest, terwijl deze test bekend staat om zijn imperfectie (valse negatieven).
• Gebrek aan standaardisatie in training en validatieprotocollen.
• Het niet corrigeren voor bias die ontstaat door herhaaldelijk snuffelen aan dezelfde monsters tijdens validatie, wat de statistische onafhankelijkheid van de data ondermijnt.
• Heterogeniteit in rapportage, wat vergelijkingen tussen studies bemoeilijkt.

2. Methodologie
Dit Canadese onderzoek (uitgevoerd in Toronto, oktober-december 2021) had als doel de diagnostische nauwkeurigheid van het signaleringsgedrag van detectiehonden (DDSB - Detection Dog Signaling Behavior) te schatten voor SARS-CoV-2, rekening houdend met de imperfectie van de referentietest.

• Deelnemers en Monsters: Er werden 2.358 deelnemers gerekruteerd. Voor de validatie werden 146 unieke monsters gebruikt (25 RT-PCR-positief, 121 negatief). Er werden ook 437 monsters gebruikt voor de trainingsfase.
• Proefhonden: Drie honden werden ingezet: twee Labrador Retrievers en één Duitse Herder. Eén hond was een "groene" hond (geen eerdere ervaring), terwijl de andere twee ervaring hadden met het opsporen van bedwantsen.
• Procedures:
  • Monsters: Zweetmonsters werden verzameld via een gestandaardiseerd protocol (gezicht, keel, oksels) en bewaard bij 0-10°C.
  • Training: Een zes-staps trainingsprogramma (april-juni 2022) met monsters die 4-6 maanden oud waren. De honden leerden positieve monsters te markeren en negatieve/lege monsters te negeren.
  • Validatie: De sessies werden video-opgenomen en onafhankelijk beoordeeld door twee verblindde waarnemers. De honden gebruikten een speciaal snuffelstation.
• Statistische Analyse:
  • Er werden Bayesiaanse Latente Class-modellen (BLCM) gebruikt. Dit is cruciaal omdat het de imperfectie van de RT-PCR-test (sensitiviteit en specificiteit) als een parameter in het model betrekt, in plaats van deze als waarheid te accepteren.
  • Er werden twee scenario's geanalyseerd: één waarbij RT-PCR als perfect werd beschouwd, en één waarbij RT-PCR als imperfect werd beschouwd (met informatieve priors gebaseerd op eerdere literatuur).
  • Er werd ook gekeken naar het effect van het meenemen van herhaalde metingen (dezelfde monsters die meerdere keren werden gesnuffeld) in de analyse.

3. Belangrijkste Bijdragen

• Statistische Rigor: Het onderzoek is een van de eerste die systematisch de bias corrigeert door RT-PCR niet als gouden standaard te behandelen, maar als een imperfecte test binnen een Bayesiaans raamwerk.
• Bias-analyse: Het kwantificeert specifiek de impact van twee veelvoorkomende fouten in dit type onderzoek: het negeren van de imperfectie van RT-PCR en het niet aanpassen voor herhaalde metingen.
• Canadese Context: Het biedt de eerste robuuste evaluatie van DDSB binnen een Canadese populatie, specifiek tijdens de opkomst van de Omicron-variant.

4. Resultaten
De resultaten tonen aan dat de prestaties van de honden sterk afhankelijk zijn van de statistische aanname:

• Sensitiviteit en Specificiteit (met correctie voor imperfecte RT-PCR):
  • De geschatte mediane sensitiviteit varieerde per hond tussen 67% en 78% (95% CrI: 29%-99%).
  • De geschatte mediane specificiteit varieerde tussen 67% en 77% (95% CrI: 53%-87%).
• Impact van het veronderstellen van een perfecte RT-PCR:
  • Als RT-PCR als perfect werd beschouwd, nam de geschatte sensitiviteit van de honden af met 7,9% tot 9,0%. De specificiteit bleef onveranderd. Dit betekent dat eerdere studies die RT-PCR als perfect beschouwden, de prestaties van de honden waarschijnlijk hebben onderschat.
• Impact van herhaalde metingen:
  • Het opnemen van herhaalde positieve monsters in de analyse zonder statistische correctie leidde tot een overschatting van de sensitiviteit met 7,9% tot 13,4% (bij imperfecte RT-PCR) en 11,4% tot 18,3% (bij perfecte RT-PCR).
  • De specificiteit werd hierdoor niet beïnvloed, omdat voornamelijk positieve monsters werden herhaald.
• Hond-ervaring: De hond zonder eerdere ervaring ("groene hond") had iets lagere sensitiviteitsschattingen dan de ervaren honden, maar de betrouwbaarheidsintervallen overlappen sterk, wat suggereert dat er geen statistisch significant verschil was.

5. Betekenis en Conclusie
De studie concludeert dat DDSB een veelbelovende, niet-invasieve screeningsmethode voor SARS-CoV-2 is, maar dat de nauwkeurigheid van de schattingen sterk beïnvloed wordt door methodologische keuzes.

• Kritieke Inzicht: Het negeren van de imperfectie van RT-PCR leidt tot een systematische onderschatting van de sensitiviteit van de honden.
• Aanbeveling: Toekomstige studies moeten Bayesiaanse methoden toepassen om de imperfectie van referentietests te corrigeren en strikte protocollen hanteren om herhaalde metingen te vermijden of statistisch te corrigeren.
• Toekomstperspectief: Ondanks de beperkingen (zoals de vertraging in training door administratieve problemen en de niet-ideale testomgeving), tonen de resultaten aan dat getrainde honden potentieel hebben als snelle screeningshulpmiddelen in drukke omgevingen (vliegvelden, scholen, evenementen), vooral in gebieden met beperkte toegang tot geavanceerde laboratoriumtests. Er is echter nog meer standaardisatie en validatie nodig voordat ze breed kunnen worden ingezet als klinisch hulpmiddel.