Contrastive Learning Improves Generalization on M2OR Olfactory Binding Dataset

Stel je een wereld voor waarin een sensor een ziekte zou kunnen ruiken voordat er symptomen verschijnen, een verborgen chemische dreiging in de lucht zou kunnen detecteren, of een nieuwe kandidaat voor een medicijn zou kunnen identificeren door alleen de geur ervan. Dit is de belofte van olfactorische biosensoren, apparaten die de manier waarop levende wezens ruiken nabootsen. In de natuur gebruiken dieren gespecialiseerde eiwitten die receptoren worden genoemd om vluchtige moleculen op te vangen die in de lucht zweven, waarbij een chemisch signaal wordt omgezet in een zenuwprikkel die het brein begrijpt. Wetenschappers proberen al lang een kunstmatige versie van dit systeem te bouwen, maar ze stuiten op een hardnekkig probleem: we hebben simpelweg niet genoeg gegevens over hoe deze specifieke eiwitten interageren met het enorme universum van chemische geuren. Zonder voldoende praktijkvoorbeelden om te bestuderen, falen computerprogramma's die deze interacties voorspellen vaak wanneer ze worden geconfronteerd met nieuwe, onbekende chemicaliën. Ze onthouden patronen uit hun trainingsdata in plaats van de onderliggende regels van de chemie te leren, waardoor ingenieurs hen niet kunnen vertrouwen voor toepassingen in de echte wereld.

Een team onderzoekers probeerde dit op te lossen door te testen hoe ze computers kunnen leren generaliseren, of lessen kunnen leren die van toepassing zijn op nieuwe situaties, met behruik van twee grote collecties gegevens over hoe eiwitten en chemicaliën aan elkaar binden. Ze richtten zich op een specifieke uitdaging: ervoor zorgen dat een computermodel niet vertrouwt op het herkennen van een chemische stof of eiwit dat het tijdens de training al heeft gezien. Om dit te doen, probeerden ze verschillende manieren uit om hun gegevens te splitsen. Bij een standaardbenadering wordt een computer misschien getest op een chemische stof waarvoor hij getraind is, wat een vals gevoel van succes geeft. De onderzoekers hielden in plaats daarvan hele groepen unieke chemicaliën of eiwitten achter, waardoor het model gedwongen werd te voorspellen hoe het zou reageren op iets dat het nog nooit eerder was tegengekomen. Ze ontdekten dat de modellen zonder speciale hulp aanzienlijk moeite hadden wanneer ze werden geconfronteerd met deze nieuwe, onbekende groepen. De prestaties van de computer daalden scherp omdat deze had vertrouwd op het onthouden van specifieke details in plaats van het begrijpen van de bredere principes van hoe deze moleculen in elkaar passen.

De doorbraak kwam toen de onderzoekers een techniek introduceerden die contrastief leren wordt genoemd. In plaats van de computer alleen te vertellen of een paar moleculen wel of niet bindt, leerden ze de computer relaties te herkennen. De computer kreeg paren moleculen te zien die gemeenschappelijke delen deelden en kreeg de opdracht deze als vergelijkbaar te behandelen, terwijl paren met niets gemeen als verschillend werden behandeld. Deze methode fungeerde als een gids, die de computer dwong een mentaal evenbeeld van de chemische wereld op te bouwen op basis van gedeelde kenmerken in plaats van alleen het onthouden van lijsten. Wanneer de onderzoekers deze benadering toepasten, werden de modellen opmerkelijk robuust. Ze behielden een hoog niveau van nauwkeurigheid en bereikten een score van 0,88, ongeacht of ze werden getest op willekeurige gegevens of op geheel nieuwe chemicaliën en eiwitten die ze nog nooit eerder hadden gezien. Dit suggereert dat door de focus te leggen op de gedeelde bouwstenen van moleculen, de computer een meer fundamentele manier leerde om interacties te voorspellen.

De studie onthulde ook dat de manier waarop gegevens worden voorbereid belangrijker is dan het specifieke type computermodel. Wanneer de gegevens op een manier werden gesplitst waardoor de computer bekende onderdelen in zowel de trainingsfase als de testfase kon zien, presteerden zelfs eenvoudige modellen goed. Maar zodra de onderzoekers dat vangnet verwijderden, waren alleen de modellen die getraind waren met de contrastieve methode in staat om de moeilijkheid aan te kunnen. Deze bevinding onderstreept een verborgen gebrek in veel eerdere studies: hoge prestatiescores waren vaak opgeblazen omdat de testgegevens elementen bevatten die de computer al eerder had gezien. De onderzoekers betogen dat voor deze voorspellingen werkelijk nuttig te zijn, we ze moeten evalueren op gegevens die de computer dwingen te generaliseren. Door contrastief leren te gebruiken, lieten zij zien dat het mogelijk is om een systeem te bouwen dat de chemie van de geur goed genoeg begrijpt om te voorspellen hoe nieuwe eiwitten en chemicaliën met elkaar zullen interageren, wat de weg vrijmaakt voor betrouwbaardere biosensoren in de geneeskunde en veiligheid.