Decoupled Pipeline with Proposal Reranking and Score Fusion for Positive-Unlabeled Marine Species Detection

Stel je voor dat je een detective bent die een mysterie probeert op te lossen in een enorme, troebele onderwaterstad. Je taak is om specifieke zeewezens te vinden en ze te benoemen. Maar er is een addertje onder het gras: de kaart die je hebt gekregen zit vol gaten. De mensen die de kaart hebben getekend, hebben alleen de dieren opgeschreven waarvan ze zeker waren, waardoor duizenden andere vissen, zee-egels en kwallen ongemerkt bleven. In de wereld van de informatica wordt dit "positive-unlabeled" leren genoemd. Het is alsoamelijk proberen te leren hoe een "hond" eruitziet door alleen foto's te bestuderen waar iemand expliciet naar een hond heeft gewezen, terwijl je de andere dieren op de foto – die misschien gewoon katten of eekhoorns zijn – negeert. Als je computer een kat ziet en denkt: "Dat is een hond!", omdat hij niet anders is verteld, raakt hij in de war.

Om het nog lastiger te maken, is de onderwaterstad een beetje als een verschuivende droom. De foto's die je bestudeert, zijn genomen door een groep duikers in één deel van de oceaan, maar de "test"-foto's die je moet oplossen, komen uit een totaal andere oceaan, genomen met andere camera's en andere belichting. Dit wordt "domain shift" genoemd. Het is alsof je probeert het gezicht van een vriend te herkennen nadat je hem alleen in zwart-witfoto's hebt gezien, maar je vervolgens wordt gevraagd hem te identificeren in een hoogwaardige kleurenvideo. Het doel van dit onderzoek is om een computersysteem te bouwen dat deze zeewezens kan opsporen en correct kan benoemen, zelfs wanneer de kaart onvolledig is en de belichting vreemd is.

---

De Nieuwe Strategie van de Detective: Het Werk Splitsen

Het team van Georgia Tech, bekend als DS@GT ARC, realiseerde zich dat proberen alles tegelijk te doen een recept voor ramp was. Stel je voor dat je één persoon vraagt om zowel de ogen te zijn die het dier opsporen, als het brein dat het benoemt, en de rechter die beslist of de gok goed genoeg is. In hun experimenten liep deze "alles-in-één"-aanpak tegen een muur aan. De computer bleef in de war raken door de ongemerkte dieren, waarbij hij ze aanzag voor fouten.

Daarom besloten ze de taak te splitsen in een estafette met drie verschillende hardlopers, die elk één ding heel goed doen.

Hardloper 1: De Wijdverspreide Verkenner (De Detector)
Eerst hadden ze iemand nodig die de hele oceaanbodem kon scannen en riep: "Hé, daar is iets!" Ze gebruikten een vooraf getrainde robot genaamd "Megalodon" (een type YOLO-detector). In plaats van Megalodon te leren om nieuwe dingen te leren van de rommelige wedstrijdgegevens, hielden ze hem bevroren, als een ervaren verkenner die al weet hoe hij vormen moet herkennen.

• De Tiling Trick: De oceaanbodem is enorm groot, en sommige zeewezens zijn piepklein. Als je met toegeknepen ogen naar een hele foto kijand, lijkt een kleine zee-egel op een stofje. Om dit op te lossen, keken ze niet alleen naar de hele foto, maar sneden ze de afbeelding in kleinere, overlappende tegels (tiles), zoals een mozaïek. Hierdoor kon de verkenner inzoomen op de kleinste details.
• De Edge Filter: Soms wordt een wezen door de rand van een tegel doormidden gesneden. Het team voegde een regel toe: als een gedetecteerd object door de rand van een tegel wordt afgesneden, gooi het dan weg. Dit voorkwam dat het team halve zee-egels als hele telde.

Hardloper 2: De Deskundige Bioloog (De Classificator)
Zodra de verkenner een "iets" had gevonden, gaven ze een uitgesneden foto van die plek door aan de tweede hardloper: een superintelligente AI genaamd DINOv3. De enige taak van deze hardloper is om naar het wezen te kijken en te zeggen: "Dat is een zee-egel," of "Dat is een botvis."

• Het Geheime Sausje: Ze hebben deze robot niet vanaf nul geleerd. In plaats daarvan gebruikten ze een techniek genaamd "LoRA" (Low-Rank Adaptation). Zie dit als het geven van een klein, gespecialiseerd notitieblok aan de robot om de specifieke regels voor de 32 soorten zeewezens uit de wedstrijd op te schrijven, zonder dat hij zijn hele brein hoeft te herschrijven. Hierdoor kon de robot een meester worden in fijne details, zoals het verschil zien tussen twee zeer vergelijkbare soorten vissen.

Hardloper 3: De Twijfelende Rechter (De Reranker)
Zelfs de beste bioloog kan overmoedig zijn. Soms ziet een vreemde rots er genoeg uit als een vis dat de bioloog zegt: "99% zeker dat dit een vis is!" Het team voegde een derde stap toe om de betrouwbaarheid te controlend. Ze bouwden een "validity head" geïnspireerd op een "Turingtest" (een test om te zien of een machine een mens kan misleiden). Deze rechter vraagt: "Lijkt deze kandidaat daadwerkelijk op de andere leden van zijn klasse?"

• Het Resultaat: Deze rechter fungeerde als een zachte duw. Hij gooide geen gokken weg, maar paste de rangschikking slechts licht aan. Als een gok vreemd was, werd deze lager op de lijst geplaatst. Als een gok solide was, bleef deze bovenaan staan.

De Eindscore: Alles Samenbrengen

Het team liet de drie hardlopers niet zomaar hun antwoorden roepen. Ze gebruikten een speciale wiskundige truc genaamd "weighted geometric fusion" om de scores te combineren. Stel je voor dat de Verkenner een score geeft van hoe zeker hij is dat er iets is, de Bioloog een score van hoe zeker hij is van de naam, en de Rechter een score van hoe consistent de gok is. De eindscore is een mengeling van al deze drie. Als één van hen zwak is, daalt de eindscore, wat ervoor zorgt dat alleen de sterkste, meest consistente gokken bovenaan komen te staan.

Wat Ze Vonden (en Wat Ze Weggooiden)

Het team draaide honderden experimenten, en de resultaten waren een mix van "aha!"-momenten en "oeps"-lessen.

• De Bevroren Verkenner Won: Ze probeerden de verkenner (Megalodon) te leren om te leren van de rommelige data, in de hoop dat hij beter zou worden. Maar dat werkte niet. De "bevroren" verkenner, die simpelweg zijn bestaande kennis gebruikte, presteerde in de uiteindelijke race eigenlijk beter. Het team leerde dat het proberen te finetunen van de detector op ruisige, onvolledige data het hele systeem juist slechter maakte.
• De "Strikte" versus "Echte" Valstrik: Ze probeerden superstreng te zijn en accepteerden alleen gokken die perfect overeenkwamen met de bekende labels. Maar in de echte wereld (de verborgen testset) waren veel echte wezens niet gelabeld in de trainingsdata. Als ze te agressief filterden, gooiden ze per ongeluk echte dieren weg die toevallig ongemerkt waren gebleven. De les? Het is beter om een breed net te gooien en het ranglijstsysteem de goede van de slechte te laten sorteren, in plaats van alles te verwijderen wat verdacht lijkt.
• De Publieke versus Privé Split: Het team had twee versies van hun systeem. Eén versie, die de "Twijfelende Rechter" (de TTN-geïnspireerde reranker) bevatte, deed het geweldig op de publieke leaderboard en hun eigen externe tests. Echter, op de definitieve, geheime private leaderboard, won de simpelere versie (zonder de rechter) met een kleine marge. Dit leerde hen dat een signaal dat nuttig lijkt in de ene test, misschien niet robuust genoeg is voor de uiteindelijke, onbekende uitdaging.

Het Grote Plaatje

Uiteindelijk plaatste het systeem van het team hen op de 12e plaats van de 102 teams met een score van 0,1757. Hun grootste ontdekking was geen nieuw superalgoritme, maar een strategie: probeer de rommelige data niet te repareren; werk eromheen.

Ze ontdekten dat het scheiden van de taak van "vinden" van de taak van "benoemen", het gebruik van een bevroren detector en het vertrouwen op een slim rangschikkingssysteem krachtiger was dan proberen één enkel model alles te laten leren. Ze leerden ook dat in een wereld van onvolledige kaarten, te agressief zijn over het wegfilteren van "twijfelachtige" gokken gevaarlijk is. Soms is het ding dat je voor een fout aanziet, eigenlijk een echt, ongemerkt schatje.

Het paper suggereert dat hoewel het gebruik van "student-teacher"-methoden (waarbij een slim model een zwakker model onderwijst) en het creëren van synthetische data veelbelovend zijn, ze met uiterste zorg moeten worden behandeld. Als de leraar niet perfect is, leert de student simpelweg de fouten van de leraar aan. Voor nu is de veiligste weg om de detector simpel te houden, de classificator het zware werk te laten doen bij de namen, en een zachte hand te gebruiken om de uiteindelijke gokken te rangschikken.