React-ing to Grace Hopper 200: Five Open-Weights Coding Models, One React Native App, One GH200, One Weekend

Stellen Sie sich vor, Sie haben einen riesigen, hochmodernen Supercomputer (die „GH200", die Größe eines kleinen Kühlschranks, aber mit der Kraft von Tausenden normalen PCs) und eine ganze Woche Zeit, um fünf verschiedene KI-Programmierer zu testen. Das Ziel? Eine einfache App zu bauen, mit der man zählen kann, wie viele Kängurus man pro Tag sieht – und die App soll sowohl auf dem Handy als auch im Internet funktionieren.

Der Autor dieses Papers, Alex Potanin, hat genau das getan. Und das Ergebnis war überraschend: Die offiziellen „Bestenlisten" der KI-Welt sagten das Falsche voraus.

Hier ist die Geschichte, einfach erklärt:

1. Der Wettkampf: Die „Bestenlisten" vs. die Realität

In der Welt der KI gibt es große Wettbewerbe (wie den „SWE-Bench"), bei denen KIs getestet werden, wie gut sie kleine Programmierfehler beheben können. Die Modelle, die dort gewinnen, gelten als die „Superhelden".

• Die Favoriten: Modelle wie GLM-5.1 und DeepSeek-V3.2 waren die Stars dieser Listen.
• Der Außenseiter: Kimi-K2.5 galt als weniger mächtig, besonders in einer stark komprimierten Version (wie ein Buch, das auf 300 Seiten zusammengefasst wurde, statt auf 1000).

Das Ergebnis: Der „Außenseiter" Kimi-K2.5 baute die einzige App, die sofort lief und alles tat, was bestellt wurde. Die „Superhelden" scheiterten an der Aufgabe.

2. Warum die „Superhelden" scheiterten (Die drei Fallstricke)

Die KI-Modelle waren nicht dumm, aber sie hatten drei seltsame Macken, die in den Tests nicht auffielen:

• Der „Stille Streik" (Temperatur-Problem):
  Die Werkzeuge, die die KI steuern, waren zu vorsichtig eingestellt. Man kann sich das vorstellen wie einen Dirigenten, der einem Jazz-Musiker sagt: „Spiele nur die Noten, die im Buch stehen, genau so." Der Jazz-Musiker (die KI) wurde dann starr und hörte auf zu spielen, weil er Angst hatte, etwas Neues zu erfinden. Der „Außenseiter" Kimi brauchte mehr Freiheit, um zu denken. Als man ihm diese gab, lief er wie ein Uhrwerk.

• Der „Versteckte Brief" (Leckende Gedanken):
  Manche KIs denken laut nach, bevor sie antworten (wie ein Schüler, der erst auf dem Papier rechnet, bevor er die Antwort aufschreibt). Ein Modell (DeepSeek) schickte seinen „Rechenweg" versehentlich mit in den Dateinamen. Statt eine Datei namens App.js zu erstellen, nannte es sie Lass uns mit App.js beginnen: .... Der Computer war verwirrt und konnte die App nicht starten. Es war, als würde ein Architekt den Bauplan in den Namen des Hauses schreiben.

• Der „Vergessene Unterschied" (Handy vs. Web):
  Alle Modelle bauten eine Funktion, die auf dem Handy funktioniert, aber im Internet nicht. Es war, als würden alle Köche ein Gericht kochen, das nur mit einem speziellen, teuren Messer schmeckt, aber im Supermarkt (dem Web) niemand dieses Messer hat. Die App lief zwar, aber wichtige Knöpfe taten nichts. Niemand hatte das in den Trainingsdaten gelernt.

3. Die große Lektion: Größe ist nicht alles

Das Papier zeigt etwas Wichtiges für die Zukunft:

• Die „Riesigen" (Scale School): Diese Modelle sind riesig und brauchen extrem teure Hardware (wie den GH200-Supercomputer). Sie sind sehr schlau, aber oft zu starr oder machen seltsame Fehler bei der Umsetzung.
• Die „Effizienten" (Efficiency School): Kleinere Modelle (wie MiniMax oder die komprimierte Kimi-Version) laufen auf ganz normalen, günstigen Computern (wie einem großen MacBook). Sie sind fast genauso gut in den Tests, aber viel schneller und billiger im Betrieb.

Die Analogie:
Stellen Sie sich vor, Sie wollen ein Haus bauen.

• Die großen Modelle sind wie ein Team aus 100 Architekten, die in einem riesigen Palast arbeiten. Sie können die komplexesten Pläne zeichnen, aber sie brauchen eine Woche, um eine Tür zu entwerfen, und vergessen manchmal, dass die Tür auch im Regen funktioniert.
• Die kleinen Modelle sind wie ein handverlesenes Team von 10 erfahrenen Handwerkern in einer kleinen Werkstatt. Sie bauen die Tür schneller, sie passt sofort, und sie kostet ein Siebtel des Preises.

Fazit: Was bedeutet das für uns?

Wenn Sie in Zukunft eine KI für Ihre eigene Arbeit nutzen wollen, sollten Sie nicht nur auf die „Bestenlisten" schauen. Ein Modell kann in der Theorie brillant sein, aber in der Praxis scheitern, weil es die Feinheiten der Aufgabe nicht versteht oder mit den Werkzeugen nicht klarkommt.

Die Botschaft:
Kaufe nicht das teuerste Modell nur, weil es den höchsten Punktestand hat. Teste es erst an einer echten Aufgabe. Oft ist der „kleine, clevere" Kumpel besser als der „große, teure Star", besonders wenn man ihn auf einem normalen Computer laufen lassen will.

Der Autor sagt im Grunde: Hör auf, nur auf die Noten zu schauen, und schau dir an, ob das Kind wirklich Hausaufgaben machen kann.