Producing treatment hierarchies in network meta-analysis using probabilistic models and treatment-choice criteria

Technisches Resümee: Erstellung von Behandlungshierarchien in Netzwerk-Metaanalysen unter Verwendung probabilistischer Modelle und Kriterien für die Behandlungsentscheidung

Problemstellung
Netzwerk-Metaanalysen (NMA) generieren relative Behandlungseffekte über mehrere Interventionen hinweg, doch die Interpretation dieser Ergebnisse zur Etablierung einer Behandlungshierarchie bleibt eine Herausforderung. Bestehende Ranking-Metriken, wie die Wahrscheinlichkeit, dass eine Behandlung die beste ist ($p_{BIV}$), P-Scores und SUCRA, lassen oft eine klare Interpretierbarkeit vermissen und versäumen es, Unsicherheiten adäquat zu berücksichtigen. Eine primäre Kritik besteht darin, dass diese Methoden kleine, klinisch irrelevante Unterschiede in den Behandlungseffekten überbetonen können, wodurch selbst dann unterschiedliche Ränge für Behandlungen zuweisen, wenn deren Leistung statistisch ununterscheidbar ist. Darüber hinaus berücksichtigen viele Metriken nicht explizit ein „Kriterium für die Behandlungsentscheidung“ (Treatment-Choice Criterion, TCC), das definiert, was einen klinisch bedeutsamen Unterschied ausmacht, was dazu führt, dass Rankings, die erstellt werden, sich nicht optimal in die klinische Entscheidungsfindung übertragen lassen.

Methodik
Die Autoren schlagen ein neuartiges Framework vor, das ein vordefiniertes TCC mit einem probabilistischen Ranking-Modell integriert, um Behandlungshierarchien zu generieren. Die Methodik gliedert sich in zwei Hauptphasen:

1. Definition des Kriteriums für die Behandlungsentscheidung (TCC):
   Die Autoren definieren ein TCC basierend auf der kleinsten bedeutsamen Differenz (Smallest Worthable Difference, SWD). Sie konstruieren einen Bereich der Äquivalenz (Range of Equivalence, ROE) unter Verwendung der SWD und deren Kehrwert (oder Gegenteil). Für jeden paarweisen Vergleich zwischen Behandlungen $X$ und $Y$:

• Eine Behandlungspräferenz ($X > Y$ oder $Y > X$) wird nur dann etabliert, wenn die NMA-Schätzung und deren Konfidenzintervallgrenzen außerhalb des ROE liegen, was auf einen klinisch bedeutsamen Effekt hindeutet.
• Liegt die Evidenz innerhalb des ROE, werden die Behandlungen als äquivalent betrachtet (ein „Unentschieden“ bzw. „Tie“).
• Dieser Prozess transformiert die kontinuierlichen NMA-Effektschätzungen in diskrete Präferenzdaten (Präferenz für $X$, Präferenz für $Y$ oder ein Unentschieden).

2. Probabilistisches Ranking-Modell:
   Um diese Präferenzdaten zu synthetisieren, passen die Autoren das Bradley-Terry-Modell (erweitert durch Davidson zur Einbeziehung von Unentschieden) an den NMA-Kontext an.

• Latenter Parameter: Jeder Behandlung $X$ wird ein latenter „Fähigkeitsparameter“ ($\psi_X$) zugewiesen, der deren Neigung repräsentiert, im Vergleich zu anderen klinisch bedeutsame und vorteilhafte wahre Behandlungseffekte zu erzielen, gegeben das TCC.
• Modellformulierung: Die Wahrscheinlichkeit, dass Behandlung $X$ die Behandlung $Y$ übertrifft, wird modelliert als $\frac{\psi_X}{\psi_X + \psi_Y + \nu\sqrt{\psi_X\psi_Y}}$, wobei $\nu$ ein Störparameter (Nuisance Parameter) ist, der die Häufigkeit von Unentschieden repräsentiert.
• Schätzung: Die Parameter werden mittels Maximum-Likelihood-Schätzung (MLE) innerhalb eines frequentistischen Rahmens geschätzt. Standardfehler werden asymptotisch aus der Fisher-Informationsmatrix abgeleitet.
• Output: Das Modell liefert absolute Fähigkeitsschätzungen ($\hat{\psi}_X$) und normalisierte Wahrscheinlichkeiten ($\hat{\pi}_X$), welche die Wahrscheinlichkeit darstellen, dass eine Behandlung die höchste wahre Fähigkeit unter allen Behandlungen besitzt.

Wesentliche Beiträge

• Integration klinischer Relevanz: Das Framework integriert explizit ein klinisch relevantes TCC (via SWD) vor dem Ranking, wodurch sichergestellt wird, dass nur Effekte, die eine Präferenz rechtfertigen, die Hierarchie beeinflussen.
• Umgang mit Unsicherheit und Unentschieden: Durch die Umwandlung von NMA-Schätzungen in Präferenz-/Unentschieden-Daten basierend auf Konfidenzintervallen berücksichtigt die Methode natürlich die Unsicherheit. Behandlungen mit überlappenden Konfidenzintervallen relativ zur SWD werden als unentschieden behandelt, was die künstliche Trennung von Behandlungen mit vernachlässigbaren Unterschieden verhindert.
• Probabilistische Interpretation mit Unsicherheitsmaßen: Im Gegensatz zu einigen bestehenden Metriken liefert dieser Ansatz Standardfehler für die Fähigkeitsschätzungen, was die Quantifizierung der Unsicherheit um die Ranking-Positionen ermöglicht.
• Software-Implementierung: Die Autoren haben die R-Package mtrank entwickelt und veröffentlicht, um die Anwendung dieser Methode zu erleichtern.

Ergebnisse
Die Autoren validierten die Methode durch zwei klinische Fallstudien und eine empirische Untersuchung von 153 veröffentlichten Netzwerken:

1. Antidepressiva bei schwerer Depression (18 Behandlungen):

• In diesem Netzwerk hatte die Behandlung mit der größten Effektstärke (Vortioxetin) den größten Standardfehler.
• Traditionelle Metriken ($p_{BIV}$, P-Scores) rangierten Vortioxetin an erster Stelle.
• Die vorgeschlagene Methode, die eine SWD von 1,20 anwandt, führte zu einer konservativeren Hierarchie, in der Escitalopram an erster Stelle rangierte und Vortioxetin mit dem zweiten Platz gleichging. Dies spiegelte die Unsicherheit in der Schätzung von Vortioxetin relativ zur SWD wider.
• Eine Sensitivitätsanalyse zeigte: Wenn die SWD anstieg (was größere Effekte erforderte), stieg die Wahrscheinlichkeit für Vortioxetin, an erster Stelle gerankt zu werden, was die Reaktionsfähigkeit der Methode auf klinische Schwellenwerte demonstriert.

2. Antihypertensiva und Diabetes-Inzidenz (6 Behandlungen):

• Dieses Netzwerk wies eine hohe Präzision (geringe Standardfehler) auf.
• Die vorgeschlagene Methode zeigte eine perfekte Übereinstimmung mit bestehenden Metriken (P-Scores, PReTA, $p_{BIV}$) und rangierte ARB an erster Stelle und ACE an zweiter Stelle.
• Dies bestätigte, dass die vorgeschlagene Methode, wenn NMA-Schätzungen präzise sind und die Varianzen ähnlich sind, mit etablierten Ansätzen übereinstimmt.

3. Empirische Studie (153 Netzwerke):

• Die vorgeschlagene Fähigkeitsbasierte Metrik zeigte eine starke Korrelation (Median > 0,90) mit P-Scores, SWD-adjustierten P-Scores und PReTA.
• Die Korrelation mit $p_{BIV}$ war moderat (Median ~ 0,65).
• Einfluss der Unsicherheit: Die Übereinstimmung zwischen der vorgeschlagenen Methode und anderen war in Netzwerken mit hoher Präzision und geringen Varianzbereichen am höchsten. Mit zunehmender durchschnittlicher Varianz der NMA-Schätzungen sank die Korrelation, was verdeutlicht, dass die vorgeschlagene Methode insbesondere dann von anderen abweicht, wenn die Unsicherheit hoch und die Unterschiede gering sind.

Bedeutung und Ansprüche
Das Paper beansprucht, eine wertvolle Alternative für das Ranking von NMA-Behandlungen zu bieten, die die Überinterpretation geringfügiger Unterschiede mildert. Durch die Forderung nach einem vordefinierten TCC zwingt das Framework Forscher dazu, explizit zu berücksichtigen, was im spezifischen klinischen Kontext eine „beste“ Behandlung ausmacht, bevor eine Hierarchie erstellt wird. Die Autoren betonen, dass ihre Methode kein Ersatz für die Berichterstattung relativer NMA-Effekte ist, sondern als Werkzeug zur Unterstützung der Entscheidungsfindung dient.

Die Bedeutung liegt in der Erstellung von Hierarchien, die:

1. Klinisch bedeutsam sind: Basierend darauf, ob Effekte einen Schwellenwert der Wichtigkeit überschreiten.
2. Robust sind: Weniger wahrscheinlich, unterschiedliche Ränge für Behandlungen mit überlappenden Konfidenzintervallen zuzuweisen.
3. Transparent sind: Begleitet von Standardfehlern, um die Unsicherheit im Ranking selbst zu quantifizieren.

Die Autoren kommen zu dem Schluss, dass die Definition der SWD zwar eine gewisse Subjektivität beinhaltet, das Framework jedoch Sensitivitätsanalysen über verschiedene SWD-Werte hinweg ermöglicht, was ein differenzierteres Verständnis von Behandlungshierarchien unter variierenden klinischen Annahmen erlaubt. Sie positionieren diesen Ansatz als besonders nützlich für Netzwerke mit erhöhter Unsicherheit oder wenn eine spezifische klinische Entscheidungsregel von zentraler Bedeutung ist.