Stellen Sie sich vor, Sie bauen eine riesige, sich ständig verändernde Stadt aus Glas und Licht. Jeden Tag fügen Architekten neue Türme hinzu, Maler ändern die Farben der Fenster und Ingenieure tauschen die Türen aus. Diese Stadt ist eine mobile App, und die Menschen, die dort leben, sind Millionen von Nutzern. Um sicherzustellen, dass die Stadt nicht zusammenbricht, müssen Sie durch jede Straße gehen, jede Tür öffnen und jedes Fenster prüfen, um zu sehen, ob es noch funktioniert. Das nennt man „Testing“. Aber hier liegt das Problem: Die Stadt verändert sich so schnell, dass Sie schon fertig sind mit der Überprüfung einer Straße, haben die Architekten sie bereits wieder aufgebaut. Wenn Sie versuchen, eine strikte, roboterhafte Checkliste für jede einzelne Tür zu schreiben, bricht Ihre Checkliste in dem Moment, in dem ein Maler einen Türgriff verändert, zusammen, und Sie müssen sie von Grund auf neu schreiben. Dies ist der Albtraum des traditionellen App-Testens: Es ist langsam, zerbrechlich und erfordert Armeen von Menschen, die ständig die kaputten Checklisten reparieren müssen.

Hier kommt die Idee eines „KI-Detektivs“ ins Spiel. Anstatt eines Roboters, der nur genau weiß, wo sich ein Türgriff befinden soll, stellen Sie sich einen Detektiv vor, der versteht, wozu ein Türgriff da ist. Wenn sich der Türgriff bewegt, gerät der Detektiv nicht in Panik; er sucht einfach nach dem Ding, das die Tür öffnet, und geht weiter. Dieses Paper, geschrieben von Ingenieuren bei Uber, stellt ein neues System namens DragonCrawl vor. Es nutzt eine superintelligente künstliche Intelligenz (ein Large Language Model), um als dieser Detektiv zu fungieren. Anstatt eine starre Karte auswendig zu lernen, liest DragonCrawl die App so, wie ein Mensch es tut: Es betrachtet den Bildschirm, versteht das Ziel (wie zum Beispiel „eine Fahrt buchen“) und findet selbstständig den nächsten Schritt. Das Paper zeigt, dass dieser Ansatz viel schneller, kostengünstiger und weniger anfällig für Änderungen in der App ist, wodurch das Unternehmen jedes Mal, wenn es seine App aktualisiert, tausende verschiedene Szenarien automatisch testen kann.

Der alte Weg vs. der neue Weg

Vor DragonCrawl versuchte Uber eine Methode namens DragonCrawl V1. Stellen Sie sich das wie einen Studenten vor, der versucht, ein Labyrinth zu lösen, indem er ein einzelnes Foto des Pfades auswendig lernt. Wenn das Labyrinth exakt so aussah wie auf dem Foto, konnte der Student hindurchgehen. Aber wenn sich die Wände auch nur ein kleines Stück bewegten oder wenn der Student denselben Flur zweimal an verschiedenen Stellen des Labyrinths sah, wurde er verwirrt und lief im Kreis. Dieses System funktionierte ganz gut für einfache Aufgaben, aber es versagte kläglich, sobald die Aufgaben komplizierter wurden. Es war, als würde man versuchen, eine Stadt zu navigieren, indem man nur eine einzige, statische Karte benutzt; sobald die Stadt wuchs, war die Karte nutzlos.

Die neue Version, DragonCrawl V2, ist ein totaler Gamechanger. Anstatt einer statischen Karte nutzt sie ein „generatives“ Gehirn. Stellen Sie sich einen Reiseleiter vor, der noch nie in Ihrer Stadt war, aber weiß, wie Städte funktionieren. Sie sagen dem Guide: „Ich möchte zum Flughafen“, und er schaut sich die aktuelle Straße, die Verkehrsschilder und die Menschen um ihn herum an, um zu entscheiden: „Okay, ich biege hier links ab.“ Wenn sich die Straßenschilder ändern, hält der Guide nicht an; er sieht einfach die neuen Schilder und macht weiter. So funktioniert DragonCrawl V2. Es gleicht nicht nur Bilder ab, sondern begründet, was als Nächstes zu tun ist, basierend auf dem Ziel und dem, was es gerade sieht.

Wie es tatsächlich funktioniert

Das System basiert auf ein paar cleveren Tricks, die es fast menschlich wirken lassen:

1. Das absichtsbasierte Gehirn: Anstatt eines Skripts, das sagt „Klicke auf Button A, dann klicke auf Button B“, schreiben die Ingenieure einen einfachen Satz: „Buche eine Fahrt von Downtown zum Flughafen.“ Die KI liest dieses Ziel und betrachtet dann den Bildschirm. Sie fragt sich selbst: „Ich sehe eine Karte und ein ‚Wohin?‘-Feld. Um mein Ziel zu erreichen, sollte ich auf das Feld tippen.“ Dies geschieht Schritt für Schritt, wobei die KI sich an alles erinnert, was sie bisher getan hat, damit sie sich nie in einer Endlosschleife verliert.
2. Der visuelle Detektiv: Wenn die KI denkt, dass sie die Aufgabe abgeschlossen hat, setzt sie nicht einfach ein Häkchen, um zu prüfen, ob ein bestimmtes Wort erschienen ist. Stattdessen macht sie einen „Screenshot“ des Bildschirms und fragt eine superintelligente KI (GPT-4o): „Sieht dieses Bild wie eine erfolgreiche Buchung einer Fahrt aus?“ Die KI betrachtet das Bild, sieht den Beleg oder die Bestätigungsnachricht und sagt: „Ja, wir haben es geschafft!“ Dies ist viel schwerer zu brechen, weil es der KI egal ist, ob der Button verschoben wurde oder ob der Text von „Bestätigen“ zu „Okay“ geändert wurde.
3. Der Zeitreisende (Tool Calling): Manchmal muss man, um eine Funktion zu testen, eine fiktive Situation aufbauen. Um zum Beispiel zu testen, ob ein Fahrer genehmigt wird, muss man so tun, als hätte er gerade seinen Ausweis hochgeladen. Früher war das ein Albtraum. DragonCrawl kann nun direkt mit dem „Backstage“-Bereich der App kommunizieren. Es kann sagen: „Hey, tu so, als wäre dieser Fahrer gerade genehmigt worden“, und das System ändert sofort den Zustand, damit der Test fortgesetzt werden kann. Es ist wie ein Regisseur, der „Schnitt!“ ruft und sofort die Szene für die Schauspieler ändert.

Die Ergebnisse: Schneller, smarter und günstiger

Die Zahlen im Paper sind ziemlich beeindruckend. Vor diesem neuen System dauerte es etwa 96 bis 120 Stunden (das sind Wochen an Arbeit!), bis Ingenieure einen Test für ein einzelnes Feature erstellt hatten. Mit DragonCrawl V2 können sie einen Test in weniger als 4 Stunden aufsetzen. Das ist eine massive Beschleunigung.

Da es so viel schneller einzurichten ist, konnte das Team ihr Testing von nur 48 Tests auf 1.013 Tests steigern. Sie führen diese Tests automatisch aus, jedes Mal, wenn jemand den Code ändert. Das System ist unglaublich zuverlässig: Es besteht 91,6 % der Fälle auf iPhones und 92,2 % auf Androids. Das ist ein riesiger Sprung im Vergleich zum alten System, das nur etwa 80 % der einfachen Tests bestand und bei komplexen Aufgaben völlig versagte.

Das Paper hebt auch einen überraschenden Vorteil hervor: die Kosten. Obwohl die Nutzung einer superintelligenten KI Geld kostet, für jede beantwortete Frage, spart das System dem Unternehmen tatsächlich Unmengen an Geld. Durch die Automatisierung der Arbeit, die früher Menschen Wochen gekostet hätte, schätzen sie die Ersparnis auf 27 Entwicklerjahre an Aufwand. Das ist so, als hätte man 27 zusätzliche Personen, die ein ganzes Jahr lang arbeiten, nur indem man die KI die schwere Arbeit erledigen lässt.

Warum das für alle wichtig ist

Sie fragen sich vielleicht: „Warum sollte mich interessieren, ob ein Unternehmen seine App besser testet?“ Nun, denken Sie an das letzte Mal, als Sie versucht haben, eine App zu benutzen, die ständig abgestürzt ist oder bei der Sie etwas nicht kaufen konnten. Das passiert meistens, weil sich die App geändert hat und die Tests den Fehler nicht abgefangen haben. DragonCrawl hilft dabei, das zu verhindern. Es stellt sicher, dass, wenn Sie die App öffnen, die Buttons funktionieren, die Zahlungen durchgehen und die Fahrt gebucht wird, egal welche Sprache Sie sprechen oder in welcher Stadt Sie sich befinden.

Das Paper stellt auch fest, dass sich die Rolle der Menschen bei der Arbeit wandelt. Anstatt „Klicker“ zu sein, die nur einem Skript folgen, werden die Tester nun zu „Dirigenten“, die der KI beibringen, wie sie denkt. Sie verbringen weniger Zeit damit, kaputte Tests zu reparieren, und mehr Zeit damit, neue Features zu entwickeln. Es verwandelt das Testing von einer langweiligen, repetitiven Pflichtaufgabe in einen kreativen, strategischen Job.

Die Grenzen und die Zukunft

Natürlich ist das Paper ehrlich darüber, was DragonCrawl noch nicht kann. Es ist auf einen externen KI-Dienst angewiesen, was bedeutet, dass das Testing stoppt, wenn dieser Dienst seine Regeln ändert oder ausfällt. Es kostet auch Geld, um es zu betreiben, sodass kleinere Unternehmen es sich derzeit vielleicht nicht leisten können. Und obwohl es sehr gut darin ist, einem Pfad zu folgen, ist es nicht perfekt; manchmal nimmt es vielleicht einen leicht anderen Weg als beabsichtigt, obwohl das System darauf ausgelegt ist, solche Fehler abzufangen.

Aber die wichtigste Erkenntnis ist klar: Die alte Art des App-Testens – das Schreiben starrer, zerbrechlicher Skripte – stößt an ihre Grenzen. Apps sind zu komplex und ändern sich zu schnell. DragonCrawl zeigt, dass wir durch den Einsatz von KI, um Absicht statt nur Pixel zu verstehen, eine Zukunft bauen können, in der Apps gründlicher, schneller und mit weniger Kopfschmerzen getestet werden. Es ist nicht nur ein besseres Werkzeug; es ist eine neue Art zu denken darüber, wie wir sicherstellen, dass unsere digitale Welt funktioniert.