AGREEMENT AND ERROR RATES IN ANTIMICROBIAL SUSCEPTIBILITY TESTING FOR THREE COMMERCIAL AUTOMATED SYSTEMS: A SYSTEMATIC LITERATURE REVIEW AND META-ANALYSIS

Deze meta-analyse concludeert dat hoewel er enkele verschillen in zeer belangrijke fouten (VME) zijn tussen de BD Phoenix, Vitek 2 en MicroScan systemen, hun algehele prestaties vergelijkbaar zijn, waarbij de foutpatronen afhankelijk zijn van het organisme, het medicijn en de gebruikte interpretatiecriteria.

De kern

Titel: De Grote Testwedstrijd: Wie is de beste 'Antibioticum-Detective'?

Stel je voor dat bacteriën als schurken zijn die ons lichaam aanvallen. Om hen te verslaan, gebruiken artsen medicijnen (antibiotica). Maar net als schurken die een vermomming dragen, kunnen bacteriën zich veranderen en resistent worden tegen bepaalde medicijnen. Als een arts het verkeerde medicijn geeft, kan de patiënt ziek blijven of zelfs doodgaan.

Om dit te voorkomen, hebben laboratoria automatische systemen nodig die als detectives werken. Ze testen de bacteriën in het lab om te zien welk medicijn werkt en welk niet. Deze studie kijkt naar de drie bekendste detectives ter wereld:

1. Phoenix (van BD)
2. Vitek 2 (van bioMérieux)
3. MicroScan (van Beckman Coulter)

De onderzoekers hebben gekeken naar 39 verschillende onderzoeken uit de hele wereld om te zien welke detective de minste fouten maakt.

De Drie Manieren om een Fout te Maken

In dit spel zijn er drie soorten fouten die belangrijk zijn:

1. De "Goede" Match (Agreement): De detective zegt: "Deze bacterie is gevoelig voor medicijn A." En de gouden standaard (de perfecte, maar langzame methode) zegt ook: "Ja, medicijn A werkt." Dit is een perfecte match. Alle drie de detectives waren hier heel goed in (meer dan 90% van de tijd).
2. De "Grote" Fout (Major Error): De detective zegt: "Deze bacterie is resistent (onkwetsbaar) voor medicijn A." Maar eigenlijk werkt medicijn A wel! De arts zal dit medicijn dus niet geven, terwijl hij het wel had moeten geven. Dit is vervelend, maar niet dodelijk.
3. De "Dodelijke" Fout (Very Major Error - VME): Dit is de ergste fout. De detective zegt: "Deze bacterie is gevoelig voor medicijn A." Maar in werkelijkheid is de bacterie resistent! De arts geeft medicijn A, maar het werkt niet. De patiënt krijgt de verkeerde behandeling. Dit is wat de onderzoekers het meest wilden voorkomen.

Wat Vonden Ze?

De onderzoekers hebben de scores van de drie detectives vergeleken. Hier is wat ze ontdekten, vertaald naar alledaagse taal:

• Over het algemeen zijn ze allemaal goed: Alle drie de systemen doen een uitstekend werk. Ze vinden bijna altijd het juiste medicijn.
• De "Dodelijke" Fouten (VME): Hier zit het verschil.
  • MicroScan en Phoenix waren het meest betrouwbaar. Ze maakten de minste "dodelijke" fouten.
  • Vitek 2 maakte iets vaker deze dodelijke fouten dan de andere twee. Het was ongeveer 44% vaker fout dan Phoenix en 74% vaker fout dan MicroScan.
  • Let op: Hoewel dit een verschil is, was het statistisch gezien soms net niet "significant" (zoals een race waarbij de winnaar net 0,01 seconde voorligt). Maar in de medische wereld is elke seconde (of elke fout) belangrijk.

De "Speciale" Situaties

De studie keek ook naar wanneer de fouten gebeurden, net zoals je kijkt of een voetballer beter is op gras of op zand:

• Bij Gram-negatieve bacteriën (een bepaald type schurk): Hier deed Vitek 2 het duidelijk slechter dan Phoenix. Het was alsof Vitek 2 op dit soort veld een beetje verward raakte.
• Bij Gram-positieve bacteriën: Hier waren de verschillen kleiner, maar Phoenix deed het iets beter dan MicroScan.
• Bij bepaalde medicijnen: Vitek 2 had meer moeite met een groep medicijnen genaamd "aminoglycosiden" en "monobactams". Als je deze medicijnen uit de test haalde, waren de drie detectives bijna even goed.

Waarom is dit belangrijk?

Stel je voor dat je een sleutel hebt die een deur moet openen.

• Als de detective zegt "Deze sleutel werkt" (maar dat is een fout), en de arts gebruikt die sleutel, blijft de deur dicht. De patiënt blijft ziek.
• Als de detective zegt "Deze sleutel werkt niet" (en dat is een fout), probeert de arts een andere sleutel. Dat kost tijd, maar de patiënt is veilig.

De studie laat zien dat Vitek 2 iets vaker de sleutel noemt die niet werkt, terwijl de deur eigenlijk wel open zou moeten gaan. Dit kan leiden tot onnodig lang ziek zijn of zelfs sterfte, vooral bij ernstige infecties zoals bloedvergiftiging.

De Conclusie: De Boodschap voor de Toekomst

De boodschap van deze studie is niet dat één systeem "slecht" is. Integendeel, alle drie zijn ze goede detectives. Maar:

1. Geen systeem is perfect: Zelfs de beste systemen maken soms fouten, vooral als de regels (de "breakpoints") veranderen.
2. Regels veranderen: De wereld verandert. Bacteriën muteren en de regels voor welke medicijnen werken, worden elk jaar aangepast door organisaties zoals de CLSI. Soms past een systeem zich sneller aan dan een ander.
3. Blijf alert: Laboratoria moeten niet zomaar zeggen: "We hebben een goed systeem, klaar." Ze moeten blijven controleren of hun detective nog steeds goed werkt, vooral als er nieuwe bacteriestammen of nieuwe medicijnen komen.

Kortom: Het is als een autoverhuurbedrijf. Alle drie de merken (Phoenix, Vitek 2, MicroScan) zijn prima auto's. Maar als je een lange, moeilijke rit maakt (een ernstige infectie), wil je misschien toch de auto kiezen die in de testresultaten de minste pech had. En je moet altijd controleren of de navigatie (de regels) nog up-to-date is!

Technische samenvatting

Probleemstelling

Antimicrobiële resistentie (AMR) vormt een wereldwijde bedreiging voor de volksgezondheid, met miljoenen besmettingen en duizenden sterfgevallen jaarlijks. Het nauwkeurig en tijdig bepalen van de gevoeligheid van pathogenen voor antibiotica (Antimicrobial Susceptibility Testing of AST) is cruciaal voor het kiezen van de juiste therapie en het voorkomen van onnodig antibioticagebruik.

Hoewel geautomatiseerde AST-systemen de efficiëntie in laboratoria hebben verbeterd, blijft de persistentie van bacteriële resistentie een uitdaging. Er is behoefte aan onafhankelijke data om de prestaties van de drie meest gebruikte commerciële systemen te vergelijken:

1. BD Phoenix™ (BD Diagnostic Solutions)
2. Vitek® 2 (bioMérieux)
3. DxM MicroScan WalkAway (Beckman Coulter)

Specifiek is er behoefte aan inzicht in de foutpercentages, met name Very Major Errors (VME). Een VME treedt op wanneer een resistent organisme ten onrechte als gevoelig wordt gemeld, wat kan leiden tot falende behandeling en ernstige klinische gevolgen, zoals verhoogde mortaliteit bij sepsis.

Methodologie

De auteurs hebben een systematische literatuuroverzicht (SLR) en meta-analyse uitgevoerd volgens de richtlijnen van de Cochrane Collaboration en PRISMA.

• Zoekstrategie: Er werd gezocht in MEDLINE en Embase (via Ovid) tot oktober 2024, aangevuld met handmatige zoekopdrachten. Er werden 39 studies geselecteerd die voldeden aan de inclusiecriteria (minimaal twee van de drie systemen vergeleken met een referentiemethode, zoals microbroedverdunning).
• Data-extractie: De volgende uitkomstmaten werden geëvalueerd:
  • Categorische Overeenkomst (CA): Percentage van identieke resultaten (gevoelig, intermediair, resistent).
  • Essentiële Overeenkomst (EA): Percentage van MIC-waarden binnen +/- 2 verdubbelingsverduidelijkingen van de referentie.
  • Very Major Errors (VME): Valse gevoelige resultaten bij in werkelijkheid resistente isolaten.
  • Major Errors (ME): Valse resistente resultaten bij in werkelijkheid gevoelige isolaten.
• Statistische Analyse: Er werd een random-effects meta-regressie gebruikt om verhoudingsratio's (rate ratios) te berekenen tussen de systemen. Subgroepanalyses werden uitgevoerd op basis van:
  • Gram-positieve vs. Gram-negatieve organismen.
  • Richtlijnen (CLSI vs. EUCAST).
  • Antibiotische klassen.
  • Jaar van de CLSI-richtlijnen (om de evolutie van de prestaties in de tijd te volgen).
• Kwaliteitsbeoordeling: De kwaliteit van het bewijs werd beoordeeld met een aangepaste GRADE-methodologie, waarbij confounding, consistentie en risico op bias werden meegenomen.

Belangrijkste Bijdragen

Dit onderzoek is de eerste systematische review en meta-analyse die de prestaties van deze drie specifieke commerciële systemen direct met elkaar vergelijkt op basis van een grote dataset van gepubliceerde studies. De studie biedt:

1. Een kwantitatieve vergelijking van foutpercentages (VME en ME) in plaats van alleen overeenkomst.
2. Een analyse van hoe de prestaties variëren afhankelijk van het type organisme (Gram-positief vs. Gram-negatief) en de gebruikte interpretatierichtlijnen (CLSI vs. EUCAST).
3. Inzicht in de impact van veranderende breekpunten (breakpoints) over tijd op de systematische fouten.

Resultaten

De analyse omvatte data van meer dan 47.000 isolaten uit 39 studies.

1. Algemene Overeenkomst en Major Errors:

• Er waren geen statistisch significante verschillen tussen de drie systemen voor Categorie Overeenkomst (CA) en Essentiële Overeenkomst (EA). Alle systemen presteerden hoog (CA ≥90%, EA >92%).
• Er waren ook geen significante verschillen in Major Errors (ME) tussen de systemen.

2. Very Major Errors (VME) - Het kritieke verschil:

• Vitek 2 vertoonde over het algemeen een significant hoger VME-percentage dan MicroScan (ratio 1,74; p=0,045).
• Vitek 2 had ook een hogere VME-ratio dan Phoenix, hoewel dit net de drempel voor statistische significantie miste (ratio 1,44; p=0,062, "aan de significantie grenzend").
• Er was geen significant verschil in VME tussen Phoenix en MicroScan.

3. Subgroepanalyses:

• Organismetype:
  • Voor Gram-negatieve organismen had Phoenix significant minder VME's dan Vitek 2 (ratio 0,53; p<0,001).
  • Voor Gram-positieve organismen waren er geen significante verschillen, hoewel Phoenix een iets hogere VME-ratio had dan MicroScan (niet significant).
• Antibiotische Klassen: Vitek 2 vertoonde hogere VME-rates voor specifieke klassen, waaronder aminoglycosiden, monobactams, cefems, macroliden en tetracyclines. Wanneer aminoglycosiden (de slechtst presterende klasse voor Vitek 2) uit de analyse werden verwijderd, verdween het significante verschil tussen Vitek 2 en MicroScan.
• Richtlijnen: Er waren geen significante verschillen in VME tussen de systemen wanneer de data werd gestratificeerd volgens EUCAST-criteria. Bij CLSI-criteria was er een marginale trend waarbij Vitek 2 hogere VME-rates had dan MicroScan.
• Tijdsverloop: De analyse van VME-ratio's over de jaren (gebaseerd op CLSI-richtlijnen) toonde aan dat de prestatieverschillen niet statisch zijn, maar evolueren met de updates van de interpretatiecriteria.

4. Acceptabiliteit:

• Ongeveer 65-77% van de antibioticum-organisme-combinaties per platform bleef onder de CLSI-drempel van 3% voor VME. MicroScan had het hoogste percentage acceptabele combinaties (77,5%), gevolgd door Phoenix (76,1%) en Vitek 2 (65,1%).

Betekenis en Conclusie

De studie concludeert dat hoewel de drie systemen over het algemeen vergelijkbare prestaties leveren wat betreft overeenkomst (CA/EA), er subtiele maar klinisch relevante verschillen zijn in de VME-rates.

• Klinische Impact: De hogere VME-rates bij Vitek 2, vooral bij Gram-negatieve organismen en specifieke antibiotische klassen, vormen een risico voor patiënten omdat dit kan leiden tot het voorschrijven van ondoeltreffende therapie.
• Dynamiek van Prestaties: De prestaties van AST-systemen zijn niet statisch; ze worden beïnvloed door de evolutie van breekpunten (breakpoints) en de specifieke methodologieën van de fabrikant (bijv. extrapolatie van MIC-waarden bij Vitek 2).
• Aanbeveling: Laboratoria en fabrikanten moeten blijven monitoren. Laboratoria moeten niet alleen de MIC-waarden verifiëren, maar ook de interpretatie van de resultaten controleren, vooral wanneer richtlijnen (zoals CLSI) worden bijgewerkt. De studie benadrukt dat geen enkel systeem perfect is en dat continue post-market surveillance essentieel is om patiëntveiligheid te waarborgen in het dynamische landschap van antimicrobiële resistentie.