Interpolated Supervision Can Change What Regression Benchmarks Reward
Diese Arbeit zeigt auf, dass die Konstruktion dichter Regressionslabels aus spärlichen zeitlichen Beobachtungen mittels Interpolation die Benchmark-Rankings und die Modellauswahl grundlegend verändert, was oft Leistungsvergleiche umkehrt, ohne die wahre klinische Wirksamkeit oder Verbesserungen der Vorhersagearchitektur widerzuspiegeln.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der medizinischen Überwachung und Datenwissenschaft verlassen sich Forscher oft auf eine einfache Annahme: Wenn man möchte, dass man vorhersagt, wie sich ein Patient an jedem einzelnen Tag fühlt, benötigt man eine Messung für jeden einzelnen Tag. In der Realität kann ein Arzt einen Patienten jedoch nicht jeden Tag sehen. Sie sehen ihn einmal im Monat oder vielleicht einmal alle paar Wochen, und danach müssen sie raten, was dazwischen passiert ist. Um diese Lücken zu füllen, verwenden Datenwissenschaftler oft eine Technik namens Interpolation. Stellen Sie sich vor, Sie zeichnen eine gerade Linie zwischen zwei Punkten auf einem Graphen; diese Linie repräsentiert die geschätzten Werte für die Tage dazwischen. Jahrzehntelang wurde diese Methode als eine harmlose Art behandelt, einen vollständigen Datensatz aus einem spärlichen zu erstellen. Sie ermöglicht es Computern, auf „täglichen“ Daten zu trainieren, selbst wenn die einzigen realen Beobachtungen wöchentlich oder monatlich erfolgen. Eine neue Studie deutet jedoch darauf an, dass diese Bequemlichkeit ein ernstes Problem verbergen könnte. Die Art und Weise, wie wir diese täglichen Schätzungen konstruieren, kann grundlegend verändern, welche Computermodelle als die besten erscheinen lassen, was potenziell dazu führt, dass Forscher die falschen Werkzeuge für die Aufgabe wählen.
Die Forscher hinter dieser Studie wollten eine spezifische Frage untersuchen: Ändert die Methode, die verwendet wird, um die fehlenden Tage aufzufüllen, tatsächlich, welches Vorhersagemodell in einem Wettbewerb gewinnt? Sie suchten nicht nach neuen medizinischen Entdeckungen oder schlugen keinen besseren Weg zur Behandlung von Patienten vor. Stattdessen agierten sie als Auditoren, die die sehr Regeln des Spiels untersuchten, mit denen diese Modelle bewertet werden. Sie konzentrierten sich auf einen bekannten Datensatz zum Thema Parkinson-Krankheit, bei dem Patienten täglich ihre Stimme aufzeichnen, aber die Schwere ihrer Symptome nur an bestimmten Tagen von einem Arzt bewertet wird. Der der Öffentlichkeit zur Verfügung gestellte Datensatz enthielt bereits die „täglichen“ Bewertungen, aber die Forscher wussten, dass dies keine unabhängigen Beobachtungen waren; es waren mathematisch gezogene Linien, die die wenigen echten Arztbesuche miteinander verbanden. Das Team wollte sehen, ob die Verwendung dieser gezogenen Linien als Zielgröße für das Training und Testen von Modellen andere Ergebnisse liefern würde, als wenn sie nur die realen, beobachteten Punkte verwendet hätten.
Um dies zu beantworten, führten die Forscher eine Reihe kontrollierter Experimente durch, die nicht nur den Parkinson-Daten, sondern auch Daten zur Luftqualität und zum häuslichen Energieverbrauch nutzten. In diesen anderen Datensätzen kannten sie die wahren, kontinuierlichen Messwerte, da sie von Sensoren stammten, die Daten in jedem Moment aufzeichneten. Dies ermöglichte es ihnen, eine perfekte Kontrollgruppe zu erstellen. Sie nahmen dieselben Computermodelle und dieselben Eingabedaten, änderten aber nur das Ziel, das sie vorherzusagen versuchten. In einem Szenario wurden die Modelle gegen die realen, dichten Sensordaten bewertet. In dem anderen wurden sie gegen eine Version dieser Daten bewertet, bei der die realen Punkte beibehalten, aber die Lücken mit geraden Linien gefüllt wurden, genau wie im Parkinson-Datensatz. Die Eingabedaten – die Sprachaufnahmen oder die Wetterbedingungen – blieben exakt dieselben. Das Einzige, was sich änderte, war die Definition der „richtigen“ Antwort.
Die Ergebnisse waren frappierend. Als die Forscher das Ziel von den realen Sensordaten zu den interpolierten, liniengezeichneten Daten änderten, drehte sich das Ranking der Modelle um. In den Luftqualitäts-Experimenten, als die Lücken zwischen den realen Datenpunkten groß waren, änderte sich die Rangfolge der Modelle dramatisch. In einem spezifischen Setup tauschten beispielsweise fast die Hälfte der Modellpaare die Plätze; ein Modell, das deutlich besser war, wenn es gegen die realen Daten bewertet wurde, erschien plötzlich schlechter, wenn es gegen die gezogenen Linien bewertet wurde, und umgekehrt. Dies geschah, obwohl sich die Modelle selbst nicht geändert hatten und die Daten, die sie für ihre Vorhersagen verwendeten, identisch waren. Die Studie fand heraus, dass die Methode der Konstruktion des Zielwertes (Target Label) nicht nur ein nebensächliches Detail war, sondern eine mächtige Kraft, die das Ergebnis eines wissenschaftlichen Vergleichs umkehren konnte.
Die Forscher testeten auch, was passierte, wenn die Modelle tatsächlich auf diesen gezogenen Linien trainiert wurden, anstatt nur gegen sie getestet zu wurden. Sie fanden heraus, dass das Training auf den geglätteten, interpolierten Daten die Modelle anders agieren ließ, was sie oft ähnlicher zueinander machte und weniger sensibel gegenüber den kleinen, schnellen Schwankungen machte, die im wirklichen Leben vorkommen. In einer separaten Reihe von Simulationen, die einen Patienten nachahmten, dessen Symptome in einem regelmäßigen Zyklus steigen und fallen, zeigten die Forscher, dass wenn die „Ankerpunkte“, die für das Zeichnen der Linien verwendet wurden, zufällig die Spitzen und Täler dieses Zyklus verpassten, das resultierende Modell systematisch daran scheitern würde, diese Muster zu erkennen. Das Modell würde die glatte Linie lernen anstatt der zackigen Realität. Dies bestätigte, dass ein Modell, das auf interpolierten Daten trainiert wurde, zwar exzellent darin sein könnte, die glatte Linie vorherzusagen, aber schlecht darin, die tatsächlichen, chaotischen Variationen der Erkrankung zu beobachten, die es eigentlich überwachen soll.
Entscheidend ist, dass die Studie nicht behauptete, dass Interpolation immer falsch ist oder dass sie niemals verwendet werden sollte. Der Autor merkte an, dass manchmal ein glatter Verlauf genau das ist, was benötigt wird. Das Problem entsteht, wenn Forscher diese geglätteten Zielwerte nutzen, um Behauptungen über die realen, unobservierten täglichen Schwankungen aufzustellen. Die Studie demonstrierte, dass man den Erfolg eines Modells an einem geglätteten Zielwert nicht nutzen kann, um zu beweisen, dass es gut darin ist, tägliche Veränderungen zu erkennen, da der Zielwert selbst diese Veränderungen gelöscht hat. Im Parkinson-Datensatz konnten die Forscher die wahre tägliche Schwere der Symptome nicht kennen, da keine unabhängigen täglichen Bewertungen existierten. Daher konnten sie nicht sagen, welches Modell wirklich das beste bei der Vorhersage der täglichen Symptome war. Sie konnten nur sagen, dass die Wahl des Modells vollständig davon abhing, ob die Forscher an der glatten Linie oder der zackigen Realität interessiert waren.
Die abschließende Schlussfolgerung der Arbeit ist ein Aufruf zu größerer Transparenz in der Art und Weise, wie Daten aufbereitet werden. Die Studie zeigte, dass der „Gewinner“ eines Machine-Learning-Wettbewerbs oft davon bestimmt wird, wie die Zielwerte konstruiert wurden, und nicht durch die Komplexität des Algorithmus. Wenn ein Datensatz dadurch aufgebaut wird, dass man die Punkte mit geraden Linien verbindet, werden die Modelle gewinnen, die am besten darin sind, gerade Linien zu zeichnen. Wenn das Ziel darin besteht, die komplexe, schwankende Natur einer Krankheit zu verstehen, kann das Vertrauen auf ein Ziel, das geglättet wurde, zu irreführenden Ergebnissen führen. Die Forscher stellten einen mathematischen Test bereit, der hilft zu bestimmen, ob ihre Rankings stabil sind, fanden aber, dass die Rankings in vielen Fällen überhaupt nicht stabil waren. Das Werk dient als Erinnerung daran, dass die Antwort, die man erhält, oft ein Spiegelbild der Frage ist, die man gestellt hat, und wenn die Frage auf einer künstlichen Linie basiert, wird die Antwort eine künstliche Wahrheit sein.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.