Fake & Square: Training Self-Supervised Vision Transformers with Synthetic Data and Synthetic Hard Negatives
Dieses Paper stellt Syn2Co vor, ein Framework, das das selbstüberwachte Lernen für Vision Transformer verbessert, indem es synthetische Daten für die Stichprobenvielfalt und synthetische harte Negative für anspruchsvolle Kontraste nutzt und somit das Potenzial sowie die Grenzen des „Vortäuschens“ untersucht, um die Abhängigkeit von riesigen realen Datensätzen zu verringern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die Kunst des Lernens ohne Lehrer
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, eine Katze zu erkennen. In den alten Zeiten hätten Sie einen Menschen gebraucht, der sich tausende Fotos ansieht, auf die Katze zeigt und sagt: „Das ist eine Katze.“ Dies nennt man „überwachtes Lernen“ (supervised learning), und es funktioniert großartig, ist aber langsam, teuer und erfordert viel menschliche Betreuung. Um dies zu umgehen, erfanden Wissenschaftler das „selbstüberwachte Lernen“ (self-supervised learning). Stellen Sie sich das so vor, als würde man dem Roboter einen Stapel Fotos geben und sagen: „Finde selbst heraus, was diese Bilder ähnlich oder unterschiedlich macht.“ Der Roboter lernt durch den Vergleich von Bildern und versucht zu erkennen, dass zwei Fotos desselben Hundes „Freunde“ (Positive) sind, während ein Foto eines Hundes und ein Foto eines Toasters „Fremde“ (Negative) sind.
Es gibt jedoch einen Haken. Um wirklich gut darin zu werden, benötigt der Roboter eine massive Bibliothek aus echten Fotos und muss mit „harten Negativen“ (hard negatives) konfrontiert werden – knifflige Vergleiche, die fast identisch, aber leicht unterschiedlich sind, wie etwa ein Golden Retriever gegenüber einem Labrador. Wenn der Roboter nur einfache Beispiele sieht, wird er träge und lernt die subtilen Details nicht. Aber was, wenn wir nicht genug echte Fotos haben oder es zu schwierig ist, diese kniffligen Beispiele zu finden? Hier kommt die Idee des „Vortäuschens“ ins Spiel. Was wäre, wenn wir mithilfe von Computern gefälschte Fotos oder gefälschte schwierige Beispiele generieren könnten, um dem Roboter beim Lernen zu helfen? Dies ist der Spielplatz der Computer Vision, einem Bereich, in dem Maschinen versuchen, die Welt zu sehen und zu verstehen, und es ist die Bühne für die Geschichte, die wir gleich erzählen werden.
Fake It Till You Make It: Ein neuer Weg, um KI-Augen zu trainieren
In einer Arbeit mit dem Titel „Fake & Square: Training Self-Supervised Vision Transformers with Synthetic Data and Synthetic Hard Negatives“ beschlossen ein Team von Forschern des Imperial College London, eine kühne Idee zu testen: Können wir eine KI genauso gut sehen lassen, indem wir „gefälschte“ Dinge verwenden wie mit „echten“ Dingen? Ihr Ansatz ist inspiriert von dem alten Sprichwort „Fake it till you make it“ (Tu so, als ob, bis du es schaffst). Anstatt auf die perfekten realen Daten zu warten, entschieden sie sich, ihre eigenen Trainingsmaterialien zu synthetisieren (oder zu erschaffen), um zu sehen, ob dies funktionieren würde.
Die Forscher konzentrierten sich auf zwei spezifische Arten des „Vortäuschens“. Erstens untersuchten sie synthetische Daten. Stellen Sie sich vor, Sie haben ein Fotoalbum mit 100 verschiedenen Tieren. Anstatt mehr Fotos von echten Tieren zu machen, verwendeten sie ein spezielles Computerprogramm namens „Diffusionsmodell“, um 130.000 neue, gefälschte Bilder dieser gleichen Tiere zu malen. Dies sind keine bloßen verschwommenen Kopien; es sind brandneue Bilder, die wie die echten aussehen. Sie wollten sehen, ob eine KI lernen kann, Tiere allein durch das Studium dieses gefälschten Albums zu erkennen, oder ob sie eine Mischung aus echten und gefälschten Bildern benötigt.
Zweitens gingen sie das Problem der harten Negativen an. In dem Lernspiel des Roboters ist ein „hartes Negativ“ ein kniffliger Vergleich, wie etwa die Frage an den Roboter, zwischen zwei sehr ähnlichen Blautönen zu unterscheiden. Normalerweise ist es schwierig, solche kniffligen Paare im echten Leben zu finden. Deshalb erfanden die Forscher einen Weg, diese schwierigen Vergleiche innerhalb des Gehirns des Roboters (dem mathematischen Raum, in dem die KI ihr Wissen speichert) zu „fälschen“. Sie nahmen das aktuelle Verständnis der KI und vermischten es mathematisch, um neue, extrem herausfordernde Beispiele zu erstellen, die der Roboter lösen musste. Sie nannten ihre kombinierte Methode Syn2Co.
Was sie herausfanden
Das Team testete ihre „Fake“-Methoden an zwei populären KI-Gehirn-Designs: DeiT-S und Swin-T. Sie führten Experimente mit einem Datensatz namens ImageNet-100 durch, der 100 Bildkategorien enthält.
Hier ist das, was die Zahlen uns sagen:
- Die Mischung macht’s: Wenn sie die KI ausschließlich mit den gefälschten Bildern trainierten, schnitt sie überraschend gut ab, war aber nicht perfekt. Als sie jedoch die gefälschten Bilder mit echten mischten, wurde die KI sogar noch besser. Die Ergebnisse legen nahe, dass synthetische Bilder wie eine leistungsstarke Ergänzung wirken; sie steigern das Lernen, können den Bedarf an realen Daten aber noch nicht vollständig ersetzen.
- Unterschiedliche Gehirne, unterschiedliche Bedürfnisse: Die beiden KI-Modelle reagierten unterschiedlich auf das „Vortäuschen“. Das DeiT-S-Modell liebte die Kombination aus gefälschten Bildern und gefälschten schwierigen Vergleichen und erreichte eine Spitzengenauigkeit von 82,12 %, als es über 300 Epochen (Lernzyklen) trainiert wurde. Das Swin-T-Modell hingegen schien die gefälschten schwierigen Vergleiche (synthetische Negative) mehr zu bevorzugen als die gefälschten Bilder.
- Die „harte“ Lektion: Die Forscher fanden heraus, dass das Hinzufügen dieser synthetischen harten Negativen der KI half, schärfere, detailliertere Merkmale zu lernen. In einem Test variierten sie beispielsweise den Prozentsatz dieser harten Negativen von 0 % bis 40 %. Die Leistung der KI verbesserte sich im Allgemeinen, je mehr dieser herausfordernden Beispiele hinzugefügt wurden, was zeigte, dass die „gefälschten“ Schwierigkeiten tatsächlich dabei halfen, die KI stärker zu machen.
Das Urteil
Das Paper behauptet nicht, dass gefälschte Daten ein Zauberstab sind, der alle Probleme löst. Stattdessen legt es nahe, dass synthetische Daten ein vielversprechendes Werkzeug sind. Die Autoren stellten fest, dass man zwar nicht einfach alle echten Fotos wegwerfen und sich zu 100 % auf computergenerierte Inhalte verlassen kann, aber die Verwendung von synthetischen Daten zur Augmentierung (Ergänzung) der realen Daten sehr gut funktioniert. Es hilft der KI, schneller zu lernen und robuster zu werden, insbesondere wenn reale Daten schwer zu bekommen sind oder wenn man die Grenzen der KI durch anspruchsvollere Beispiele testen möchte.
Kurz gesagt: Die Forscher haben gezeigt, dass man tatsächlich bis zu einem gewissen Grad „vortäuschen“ kann. Indem sie synthetische Bilder und synthetische Herausforderungen erzeugten, schufen sie eine Trainingsumgebung, die KI-Modellen half, besser zu lernen, und bewiesen damit, dass manchmal ein wenig künstliche Hilfe den Lernprozess sehr real wirken lassen kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.