Interpolated Supervision Can Change What Regression Benchmarks Reward
Dit artikel toont aan dat het construeren van dichte regressielabels uit ijle temporele observaties via interpolatie de rangschikking van benchmarks en modelselectie fundamenteel verandert, waarbij vaak prestatievergelijkingen worden omgedraaid zonder dat dit een reflectie is van werkelijke klinische effectiviteit of verbeteringen in de voorspellingsarchitectuur.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van medische monitoring en datawetenschap vertrouwen onderzoekers vaak op een eenvoudige aanname: als je wilt voorspellen hoe een patiënt zich elke dag voelt, heb je voor elke dag een meting nodig. Maar in de werkelijkheid kan een arts een patiënt niet elke dag zien. Ze zien hen eens per maand, of misschien wel eens per paar weken, en daarna moeten ze raden wat er tussendoor is gebeurd. Om deze gaten op te vullen, gebruiken datawetenschappers vaak een techniek genaamd interpolatie. Stel je voor dat je een rechte lijn tekent tussen twee punten op een grafiek; die lijn vertegenwoordigt de geschatte waarden voor de dagen in het midden. Decennialang is deze methode behandeld als een onschadelijke manier om een volledige dataset te creëren vanuit een schaarse een. Het stelt computers in staat om te trainen op "dagelijkse" data, zelfs wanneer de enige echte observaties wekelijks of maandelijks zijn. Echter, een nieuwe studie suggereert dat dit gemak een serieus probleem kan verbergen. De manier waarop we deze dagelijkse schattingen construeren, kan fundamenteel veranderen welke computermodellen het beste lijken te zijn, wat onderzoekers potentieel ertoe kan leiden om de verkeerde instrumenten voor de taak te kiezen.
De onderzoekers achter deze studie zetten zich af om een specifieke vraag te onderzoeken: verandert de methode die wordt gebruikt om de ontbrekende dagen in te vullen daadwerkelijk welk voorspellingsmodel een wedstrijd wint? Ze zochten niet naar nieuwe medische ontdekkingen of stelden geen betere manier voor om patiënten te behandelen. In plaats daarvan traden ze op als auditors, waarbij ze de regels van het spel die gebruikt worden om deze modellen te beoordelen, onderzochten. Ze richtten zich op een bekende dataset over de ziekte van Parkinson, waarbij patiënten dagelijks hun stem opnemen, maar de ernst van hun symptomen slechts op enkele specifieke dagen door een arts wordt beoordeeld. De aan het publiek verstrekte dataset bevatte al de "dagelijkse" beoordelingen, maar de onderzoekers wisten dat deze geen onafhankelijke observaties waren; het waren wiskundig getrokken lijnen die de weinige echte doktersbezoeken verbonden. Het team wilde zien of het gebruik van deze getrokken lijnen als doelwit voor het trainen en testen van modellen andere resultaten zou opleveren dan wanneer zij alleen de echte, geobserveerde punten hadden gebruikt.
Om dit te beantwoordenen, voerde het team een reeks gecontroleerde experimenten uit, niet alleen met de Parkinson-data, maar ook met data over luchtkwaliteit en huishoudelijk energieverbruik. In deze andere datasets kenden zij de ware, continue metingen, omdat deze afkomstig waren van sensoren die op elk moment data registreerden. Dit stelde hen in staat om een perfecte controlegroep te creëren. Ze namen dezelfde computermodellen en dezelfde inputdata, maar ze veranderden alleen het doel dat ze probeerden te voorspellen. In het ene scenario werden de modellen beoordeeld tegen de echte, dichte sensordata. In het andere scenario werden ze beoordeeld tegen een versie van die data waarbij de echte punten behouden bleven, maar de gaten werden opgevuld met rechte lijnen, net als in de Parkinson-dataset. De inputdata — de stemopnames of de weersomstandigheden — bleef exact hetzelfde. Het enige dat veranderde, was de definitie van het "correcte" antwoord.
De resultaten waren opmerkelijk. Wanneer de onderzoekers de doelwaarde veranderden van de echte sensordata naar de geïnterpoleerde, lijngetrokken data, kantelde de rangschikking van de modellen. In de experimenten met de luchtkwaliteit, wanneer de gaten tussen de echte datapunten groot waren, veranderde de volgorde waarin de modellen werden gerangschikt drastisch. In één specifieke opstelling wisselden bijna de helft van de paren modellen van plaats; een model dat duidelijk beter was wanneer het werd beoordeeld tegen de echte data, leek plotseling slechter wanneer het werd beoordeeld tegen de getrokken lijnen, en vice versa. Dit gebeurde zelfs terwijl de modellen zelf niet waren veranderd en de data die zij gebruikten om voorspellingen te doen identiek was. De studie vond dat de methode van het construeren van de doelwaarde (target label) niet slechts een klein detail was, maar een krachtige kracht die de uitkomst van een wetenschappelijke vergelijking kon omkeren.
De onderzoekers testten ook wat er gebeurde wanneer de modellen daadwerkelijk op deze getrokken lijnen werden getraind in plaats van alleen tegen hen te worden getest. Ze ontdekten dat het trainen op de gladgestreken, geïnterpoleerde data de modellen anders deed gedragen, waardoor ze vaak meer op elkaar gingen lijken en minder gevoelig werden voor de kleine, snelle fluctuaties die in het echte leven voorkomen. In een aparte reeks simulaties, ontworpen om een patiënt na te bootsen wiens symptomen in een regelmatige cyclus stijgen en dalen, toonde het team aan dat als de "ankerpunten" die voor het trekken van de lijnen werden gebruikt toevallig de pieken en dalen van die cyclus misten, het resulterende model systematisch zou falen om die patronen te zien. Het model zou de gladde lijn leren in plaats van de grillige realiteit. Dit bevestigde dat een model dat getraind is op geïnterpoleerde data uitstekend kan zijn in het voorspellen van de gladde lijn, maar slecht in het voorspellen van de werkelijke, rommelige variaties van de aandoening die het bedoeld is te monitoren.
Cruciaal is dat de studie niet beweert dat interpolatie altijd fout is of dat het nooit gebruikt mag worden. De auteur merkte op dat een gladde traject soms precies is wat nodig is. Het probleem ontstaat wanneer onderzoekers deze gladgestreken doelwaarden gebruiken om claims te maken over de werkelijke, niet-geobserveerde dagelijkse fluctuaties. De studie toonde aan dat men het succes van een model op een gladgestreken doelwaarde niet kan gebruiken om te bewijzen dat het goed is in het detecteren van dagelijkse veranderingen, omdat de doelwaarde zelf die veranderingen heeft uitgewist. In de Parkinson-dataset konden de onderzoekers de ware dagelijkse ernst van de symptomen niet kennen, omdat er geen onafhankelijke dagelijkse beoordelingen bestonden. Daarom konden zij niet zeggen welk model werkelijk het beste was bij het voorspellen van dagelijkse symptomen. Zij konden alleen zeggen dat de keuze van het model volledig afhing van de vraag of de onderzoekers geïnteresseerd waren in de gladde lijn of de grillige realiteit.
De uiteindelijke conclusie van het werk is een oproep tot grotere transparantie in de wijze waarop data wordt voorbereid. De studie toonde aan dat de "winnaar" van een machine learning-wedstrijd vaak wordt bepaald door hoe de doelwaarden zijn geconstrueerd, en niet door de verfijning van het algoritme. Als een dataset is opgebouwd door de punten met rechte lijnen te verbinden, zullen de modellen die winnen de modellen zijn die het beste in staat zijn om rechte lijnen te trekken. Als het doel is om de complexe, fluctuerende aard van een ziekte te begrijpen, kan het vertrouwen op een doelwaarde die is gladgestreken leiden tot misleidende resultaten. De onderzoekers boden een wiskundige controle aan om anderen te helpen bepalen of hun rangschikkingen stabiel zijn, maar ze vonden dat in veel gevallen de rangschikkingen helemaal niet stabiel waren. Het werk dient als een herinnering dat het antwoord dat je krijgt vaak een reflectie is van de vraag die je stelt, en als de vraag gebouwd is op een kunstmatige lijn, zal het antwoord een kunstmatige waarheid zijn.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.