Fréchet inception distance under finite sampling between real image sets

In der sich rasant entwickelnden Welt der künstlichen Intelligenz lernen Computer, Bilder zu erstellen, die verblüffend echt aussehen. Von der Erzeugung von Porträts von Menschen, die nie existiert haben, bis hin zum Entwerfen neuer architektonischer Landschaften – diese Systeme werden zu leistungsstarken Werkzeugen für Künstler und Wissenschaftler gleichermaßen. Dieser Fortschritt wirft jedoch eine entscheidende Frage auf: Woher wissen wir, ob der Computer gute Arbeit leistet? Um dies zu beantworten, verlassen sich Forscher auf ein Standard-Messinstrument namens Fréchet-Inception-Distanz. Stellen Sie sich diese Metrik wie ein ausgeklügeltes Lineal vor, das zwei Gruppen von Bildern miteinander vergleicht. Es funktioniert, indem jedes Bild in eine komplexe Liste von Zahlen übersetzt wird, die seine visuellen Merkmale wie Formen, Texturen und Farben beschreiben. Das System berechnet dann den Abstand zwischen der durchschnittlichen Liste von Zahlen für eine Gruppe echter Fotos und der durchschnittlichen Liste für eine Gruppe computergenerierter Fotos. Wenn die beiden Gruppen sehr ähnlich sind, ist der Abstand klein; wenn sie sich unterscheiden, ist der Abstand groß. Seit Jahren gilt diese Methode als Goldstandard für die Beurteilung, ob eine künstliche Intelligenz die Realität erfolgreich nachahmt.

Ein Team von Forschern des National Physical Laboratory im Vereinigten Königreich und des niederländischen Expert Centre for Screening beschloss, die Zuverlässigkeit dieses Lineals zu testen. Ihr Ziel war es nicht, echte und gefälschte Bilder zu vergleichen, sondern zu sehen, was passiert, wenn das Lineal zwei Gruppen echter Bilder gegeneinander misst. Logischerweise sollte der Abstand zwischen zwei verschiedenen Handvoll echter Fotografien aus derselben Welt null oder zumindest so gering sein, dass er vernachlässigbar ist. Wenn das Lineal eine große Lücke zwischen zwei Gruppen echter Fotos anzeigt, deutet dies darauf hin, dass das Werkzeug selbst fehlerhaft sein könnte. Um dies zu untersuchen, sammelte das Team eine vielfältige Sammlung von Bildern, die von einfachen handgeschriebenen Ziffern und gewöhnlichen Objekten bis hin zu komplexen medizinischen Scans wie Hautläsionen und Mammographien reichte. Sie unterteilten diese großen Sammlungen in kleinere, ausgewogene Gruppen und maßen den Abstand zwischen ihnen, wobei sie sorgfältig verfolgten, wie sich die Ergebnisse änderten, wenn sie mehr oder weniger Bilder zu jeder Gruppe hinzufügten.

Die Ergebnisse zeigten ein überraschendes und beständiges Muster. Selbst beim Vergleich zweier Sätze echter Bilder, die aus exakt derselben Quelle stammten, meldete das Messwerkzeug konsequent einen Abstand von mehr als Null. Diese Lücke verschwand nicht einfach dadurch, dass man mehr Bilder hinzufügte. Tatsächlich fanden die Forscher heraus, dass der gemeldete Abstand nur sehr langsam sank, wenn die Anzahl der Bilder zunahm. Als sie mathematische Methoden verwendeten, um vorherzusagen, was passieren würde, wenn sie eine fast unendliche Anzahl von Bildern hätten – Milliarden oder gar Billionen –, sagte das Werkzeug immer noch einen merklichen Abstand zwischen den beiden Sätzen echter Fotos voraus. Dieser Befund deutet darauf hin, dass das Werkzeug nicht perfekt kalibriert ist, um zu erkennen, dass zwei Gruppen echter Bilder im Wesentlichen identisch sind. Die Forscher beobachteten, dass dieses Verhalten je nach Art des Bildes variierte. Für einfachere, bekannte Datensätze sank der Abstand auf vorhersehbare Weise, aber für komplexere, reale Bilder wie medizinische Scans war der Rückgang viel langsamer und weniger konsistent.

Eine besonders besorgniserregende Entdeckung war, dass das Werkzeug oft niedrigere Werte für Bilder lieferte, die sich stark von dem unterschieden, worauf es trainiert worden war. Das System wurde ursprünglich mit einer massiven Datenbank natürlicher Fotografien trainiert, wie etwa Katzen, Autos und Landschaften. Als die Forscher es mit medizinischen Bildern testeten, die ganz anders aussehen als diese natürlichen Fotos, meldete das Werkzeug, dass die beiden Gruppen medizinischer Scans einander ähnlicher seien als die Gruppen natürlicher Fotos. Die Forscher vermuten, dass dies daran liegt, dass die interne „Vision“ des Werkzeugs nicht für medizinische Daten optimiert ist, was dazu führt, dass es die einzigartigen Details dieser Bilder zu einer generischen, homogenisierten Ansicht verschmilzt. Dies schafft das Risiko, dass ein qualitativ minderwertiges künstliches Bild eine gute Bewertung erhält, nur weil es dieselbe mangelnde Detailtiefe aufweist wie die echten medizinischen Bilder, was Entwickler in die Irre führen kann, indem es ihnen vorgaukelt, ihr System würde gut funktionieren, obwohl dies nicht der Fall ist.

Die Studie untersuchte auch die mathematische Stabilität der Berechnung, insbesondere im Hinblick darauf, was passiert, wenn die Anzahl der Bilder kleiner ist als die Anzahl der Merkmale, die das System analysiert. Es gibt einen theoretischen Punkt, an dem die Berechnung instabil wird, aber die Forscher stellten fest, dass die Ausgabe des Werkzeugs beim Überschreiten dieser Schwelle keine dramatische Veränderung oder Warnsignale zeigte. Die Abstandswerte und ihre Variabilität blieben konsistent, unabhängig davon, ob die Berechnung mathematisch „unterbestimmt“ oder vollkommen stabil war. Dieses Fehlen eines klaren Warnsignals bedeutet, dass Nutzer möglicherweise nicht merken, dass ihre Ergebnisse auf einem mathematisch wackeligen Fundament stehen, wenn sie mit kleineren Datensätzen arbeiten.

Letztlich stellt die Forschung die Annahme infrage, dass dieses Messwerkzeug eine perfekte, unvoreingenommene Sicht auf die Bildqualität bietet. Die Tatsache, dass es einen signifikanten Unterschied zwischen zwei Sätzen echter Bilder registriert, impliziert, dass es möglicherweise nicht empfindlich genug ist, um zwischen einem wirklich hochwertigen künstlichen Bild und einem mittelmäßigen zu unterscheiden, insbesondere in spezialisierten Bereichen wie der Medizin. Die Autoren kommen zu dem Schluss, dass das Werkzeug zwar ein nützlicher Referenzwert bleibt, seine Ergebnisse jedoch mit Vorsicht interpretiert werden sollten. Der gemessene Abstand ist nicht nur ein Spiegelbild dessen, wie gut eine künstliche Intelligenz die Realität kopiert, sondern auch ein Spiegelbild der eigenen Einschränkungen des Werkzeugs und der spezifischen Natur der getesteten Bilder. Für Wissenschaftler und Entwickler bedeutet dies, dass ein niedriger Wert keine Perfektion garantiert und ein hoher Wert nicht immer ein Scheitern bedeutet, insbesondere wenn die erzeugten Bilder außerhalb der natürlichen Welt liegen, für die das Werkzeug konzipiert wurde.