Stellen Sie sich vor, Sie sind der Sicherheitschef einer riesigen, hochmodernen Burg. Jeden Tag versuchen Tausende von Menschen einzutreten, und Ihre Aufgabe ist es, sicherzustellen, dass nur die Richtigen hineinkommen. Sie besitzen einen magischen Spiegel, der Gesichter erkennen kann, aber er ist nicht perfekt. Manchmal glaubt er, ein Fremder sähe einem Bewohner ähnlich (ein „False Match“), und manchmal denkt er, ein Bewohner sähe einem Fremden ähnlich (ein „False Non-Match“). Um die Burg sicher zu halten, müssen Sie eine sehr strenge Regel aufstellen: „Lassen Sie Menschen nur dann herein, wenn der Spiegel sich fast zu 100 % sicher ist, dass sie dazugehören.“ Diese Regel nennt man einen „Schwellenwert“ (Threshold). Wenn Sie die Messlatte zu niedrig ansetzen, kommen Hochstapler durch; wenn Sie sie zu hoch ansetzen, werden Ihre eigenen Freunde ausgesperrt.

Stellen Sie sich nun vor, Sie wollen Ihren Spiegel testen, bevor die Burg öffnet. Sie können nicht einfach warten, bis echte Menschen auftauchen und Fehler machen; das wäre zu gefährlich. Also beschließen Sie, eine ganze Reihe von perfekten, computergenerierten „falschen“ Menschen zu erschaffen, um Ihren Spiegel zu testen. Das ist die Welt der synthetischen Daten: digitale Gesichter, die von einer KI erstellt wurden und echt aussehen, aber nicht sind. Die große Frage, die Wissenschaftler stellen, laetut: „Können wir diesen falschen Gesichtern vertrauen, um genau festzulegen, wo wir die Sicherheitsbarriere setzen?“ Dieser Text taucht genau in dieses Problem ein, speziell für die neuen europäischen Grenzkontrollsysteme, die unglaublich präzise sein müssen.

---

Die digitale Generalprobe, die schiefging

In dieser Studie entschied sich Arto Apila von der Universität Oulu dazu, die Rolle eines Testpiloten für Grenzbeamte zu spielen. Das Ziel war es zu sehen, ob die Verwendung von synthetischen Gesichtsdaten (computergenerierten Gesichtern), um den Sicherheits-„Schwellenwert“ für Grenzkontrollsysteme festzulegen, in der realen Welt funktionieren würde. Denken Sie an einen Flugsimulator. Piloten trainieren in Simulatoren, um das Fliegen zu lernen, aber wenn die Physik des Simulators leicht abweicht, könnte der Pilot abstürzen, wenn er schließlich in ein echtes Flugzeug steigt. Die Forscher wollten wissen: Ist der „Simulator“ (die synthetischen Daten) gut genug, um die Regeln für das „echte Flugzeug“ (die tatsächliche Grenzkontrolle) festzulegen?

Sie verwendeten einen speziellen Typ von KI-Modell namens EdgeFace, das wie eine leichtgewichtige, schnell laufende Version eines superintelligenten Gesichtserkenners ist, entwickelt für kleine Geräte, wie man sie etwa an einem Flughafengate finden könnte. Sie testeten dieses Modell mit zwei verschiedenen Sets von „falschen“ Gesichtern (synthetische Datensätze) und verglichen diese mit Sets von „echten“ Gesichtern (Fotos, die unter kontrollierten und chaotischen, realen Bedingungen aufgenommen wurden).

Der „Schwanz“ der Geschichte

Hier ist der knifflige Teil, den die Arbeit aufdeckt. Wenn man betrachtet, wie ein Gesichtserkennungssystem Menschen bewertet, ist das wie ein Graph. Die meisten Menschen erhalten Werte in der Mitte (eindeutig ein Treffer oder eindeutig kein Treffer). Aber die Gefahrenzone liegt ganz am Ende des Graphen, in den „Schwänzen“ (Tails). Hier wird das System verwirrt und könnte einen Fremden fälschlicherweise für einen Freund halten.

Die Forscher fanden heraus, dass synthetische Daten in der Mitte des Graphen großartig aussehen, aber die Schwänze völlig falsch darstellen. Es ist, als würde man versuchen, das Verhalten einer Menge während einer Panik vorherzusagen, indem man eine ruhige Probe beobachtet. Die falschen Gesichter wiesen nicht dieselben „Worst-Case-Szenarien“ auf wie echte Menschen.

Als die Forscher versuchten, die Regeln (Schwellenwerte), die sie aus den falschen Gesichtern gelernt hatten, auf echte Menschen anzuwenden, lief einiges schief:

• Das Problem der „zu strengen“ Einstellung: Manchmal setzte das System die Messlatte so hoch an, dass es echte Reisende ablehnte. In einem Test, bei dem man extrem streng sein wollte (mit dem Ziel einer Fehlerrate von 0,001 %), lehnte das System fast 26 % der echten Menschen ab, die es eigentlich hätte einlassen sollen!
• Das Problem der „zu lockeren“ Einstellung: In anderen Fällen war das System zu vertrauensvoll. Es ließ Hochstapler mit einer viel höheren Rate herein, als es die Sicherheitsgrenze zuließ.
• Der „Morph“-Angriff: Die Forscher testeten auch, was passiert, wenn jemand versucht, sich einzuschleichen, indem er zwei Gesichter miteinander verschmilzt (ein „Morph“-Angriff). Sie fanden heraus, dass die auf den falschen Daten basierenden Einstellungen das System viel anfälliger für solche Tricks machten. Wenn man die Regeln basierend auf den falschen Daten setzt, könnte das System ein verschmolzenes Gesicht einfach durch die Tür schlüpfen lassen.

Das Urteil: Vertrauen Sie nicht allein dem Simulator für die endgültige Entscheidung

Die wichtigste Entdeckung der Arbeit ist etwas deprimierend für diejenigen, die auf eine schnelle, einfache Lösung hoffen, die nur auf falschen Daten basiert. Sie legt nahe, dass synthetische Daten nicht darauf vertraut werden können, die endgültigen Sicherheitsregeln für hochsensible Systeme wie die Grenzkontrolle festzulegen, insbesondere wenn man unglaublich präzise sein muss (niedrige False Match Rates).

Die Autoren fanden heraus, dass selbst wenn man zwei verschiedene Arten von falschen Daten verwendet, diese unterschiedliche Antworten liefern. Es ist, als würde man zwei verschiedene Wettervorhersager fragen, um einen Hurrikan vorherzusagen; einer sagt „Bring einen Regenschirm mit“, der andere sagt „Baue einen Bunker“. Man kann nicht wissen, welcher recht hat, bis man den echten Sturm sieht.

Die Studie spricht sich explizit gegen die Idee aus, dass man einfach eine Million falsche Gesichter generieren, seine Tests durchführen und dann seine Grenzsicherheitsregeln allein auf Basis dieser Daten festlegen kann. Der „Mismatch“ in den Schwänzen der Daten bedeutet, dass die Regeln bei der Anwendung auf echte Menschen falsch sein werden. Die Arbeit sagt jedoch nicht, dass synthetische Daten nutzlos sind. Stattdessen empfiehlt sie, sie für die frühen Phasen der Entwicklung und die vorläufige Kalibrierung zu verwenden, besteht aber darauf, dass die finale, kritische Schwellenwertwahl mit realen Daten validiert werden muss.

Was sollten wir stattdessen tun?

Ist synthetische Daten also nutzlos? Keineswegs! Die Arbeit legt nahe, dass sie immer noch ein großartiges Werkzeug für die frühen Stadien beim Aufbau des Systems sind. Man kann sie nutzen, um die KI zu trainieren, um zu sehen, ob der Code funktioniert, und um eine grobe Überprüfung durchzuführen. Aber wenn es darum geht, den endgültigen, lebenswichtigen Sicherheitsschwellenwert festzulegen, muss man reale Daten verwenden.

Denken Sie an das Backen eines Kuchens. Sie können ein Rezeptbuch (synthetische Daten) verwenden, um zu lernen, wie man die Zutaten mischt und einen Testbatch backt. Aber bevor Sie den Kuchen der Königin servieren, müssen Sie den tatsächlichen Kuchen probieren, den Sie mit echten Zutaten gebacken haben. Wenn Sie das Probieren überspringen und nur dem Buch vertrauen, servieren Sie vielleicht etwas, das zu salzig oder zu süß ist.

Die Forscher kommen zu dem Schluss, dass für Systeme wie das europäische Einreise-/Ausreisesystem (EES), das unglaublich sicher sein muss, das alleinige Vertrauen auf computergenerierte Gesichter ein riskantes Glücksspiel ist. Die „falschen“ Gesichter erfassen die chaotische, unvorhersehbare Realität menschlicher Gesichter einfach nicht gut genug, um die Regeln für die echte Welt festzulegen. Um die Grenzen sicher zu halten, müssen wir unsere Systeme an echten Menschen testen, nicht nur an deren digitalen Zwillingen – besonders wenn es um die endgültige Entscheidung geht.