Simplicity Paradox: Debunking myths about prompting and datasets for LLM evaluation
Dieses Paper stellt die Annahme infrage, dass ausgefeilte Prompting-Techniken die Leistung von Large Language Models verbessern, indem es durch eine umfassende empirische Studie zeigt, dass Baseline-Prompting konsistent komplexere Methoden übertrifft, wobei nur minimales Experten- oder induktives Framing leichte Verbesserungen bewirkt, was somit nahelegt, dass das Fachgebiet den Fokus auf echte Modellfortschritte statt auf Prompt Engineering legen sollte.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, wie man ein Rätsel löst. Eine Zeit lang glaubte jeder, der einzige Weg, dem Roboter eine gute Antwort zu liefern, bestehe darin, ihm eine sehr lange, komplizierte Reihe von Anweisungen zu geben. Die Leute dachten: „Wenn ich dem Roboter sage, er solle Schritt für Schritt denken, eine Karte zeichnen oder so tun, als wäre er ein bestimmter Experte, wird er klüger.“ Es ist, als würde man einem Schüler sagen: „Antworte nicht einfach; schreibe einen fünfabsätzigen Aufsatz darüber, wie du dich fühlst, bevor du den richtigen Buchstaben wählst.“ Diese Idee wurde so populär, dass Forscher immer komplexere „Prompting“-Tricks entwickelten, in der Annahme, dass elaboriertere Anweisungen die Leistung des Roboters verbessern würden. Aber was wäre, wenn der Roboter durch all das zusätzliche Gerede eigentlich verwirrt wird? Was wäre, wenn die einfachste Anweisung tatsächlich die beste ist? Dies ist die große Frage, die ein Team von Forschern bei IBM untersuchen wollte, indem sie untersuchten, wie Large Language Models (LLMs) – die Gehirne hinter der modernen KI – mit Multiple-Choice-Fragen umgehen. Sie wollten sehen, ob all diese schicken neuen Tricks tatsächlich halfen oder ob sie die Dinge nur unnötig kompliziert machten.
Das Papier mit dem Titel „Simplicity Paradox“ ist ein gewaltiges Experiment, bei dem die Forscher 8 verschiedene Arten des Fragestellens gegen 10 verschiedene Sätze kniffliger Rätsel unter Verwendung von 27 verschiedenen Versionen von KI-Modellen testeten. Sie führten über 430.000 Auswertungen durch, um ein klares Bild zu erhalten. Und hier ist die überraschende Wendung, die sie fanden: Die komplizierten Tricks ließen die KI meist schlechter abschneiden oder höchstens genauso gut performen wie die direkte Fragestellung.
Denken Sie an Folgendes: Stellen Sie sich vor, Sie machen einen Test. Die „Baseline“-Methode besteht lediglich darin, die Frage zu lesen und die Antwort auszuwählen. Die „komplexen“ Methoden sind so, als würde man Ihnen sagen: „Tu so, als wärst du ein Detektiv, liste drei Hinweise auf, zeichne ein Diagramm und antworte dann.“ Die Forscher fanden heraus, dass für die meisten KI-Modelle die Detektiv-Persona und die Diagramme sie tatsächlich eher aufhielten. Tatsächlich, als sie die Methoden fair verglichen (indem sie sicherstellten, dass jede KI exakt dieselben Fragen sah), war der einfache, direkte Prompt der drittbeste Performer. Die einzigen zwei Methoden, die es knapp besser machten, waren winzige Anpassungen: der KI zu sagen, sie solle wie ein „Zuverlässigkeitsingenieur“ agieren oder „induktives Denken“ anwenden. Dies brachte einen kleinen Schub von etwa 3 Prozentpunkten. Aber die wirklich ausgefallenen Methoden, wie etwa die KI dazu zu bringen, ihre eigenen Beispiele zu generieren oder das Problem durch Analogie zu lösen, gingen völlig unter. Eine Methode namens „Self-Analogical“ war so schlecht, dass sie nur 21,38 % erreichte, was kaum besser ist als blindes Raten. Es ist, als hätte sich die KI so sehr in ihren eigenen Anweisungen verheddert, dass sie vergessen hat, wie man die Frage beantwortet.
Die Studie deckte auch einige andere faszinierende Eigenheiten auf. Erstens stellten sie fest, dass ein kleineres KI-Modell namens Qwen3-30B-A3B-Thinking-2507 es viel größeren, leistungsfähigeren Modellen (einige davon waren 13 Mal größer) in einem direkten Vergleich untereinander überlegen war. Dies deutet darauf darauf hin, dass mehr „Gehirnschmalz“ (Parameter) nicht immer die beste Punktzahl garantiert; manchmal ist ein kleineres, besser abgestimmtes Modell einfach schärfer. Zweitens untersuchten sie, wie viel „Denkzeit“ (oder Token) die Modelle nutzten. Sie entdeckten, dass das bloße Einschalten des „Denk“-Schalters ein massiver Gamechanger war, der die Punktzahlen für einige Modelle um bis zu 22 Prozentpunkte steigerte. Sobald der Schalter jedoch aktiviert war, brachte das Modell noch mehr „Zeit zum Nachdenken“ zu geben (Erhöhung des Budgets von niedrig auf mittel) nur eine minimale Steigerung der Genauigkeit von etwa 1 bis 4 Punkten, während es viel mehr Rechenleistung kostete. Es ist, als würde man erkennen, dass ein Läufer erst anfangen muss zu laufen, um zu gewinnen, aber ihm zu sagen, er solle 8 Mal länger laufen als nötig, macht ihn nicht wesentlich schneller.
Schließlich betrachteten die Forscher die Schwierigkeit der Rätsel selbst. Sie fanden heraus, dass die KI noch weit davon entfernt ist, perfekt zu sein. Bei den schwierigsten Rätseln bekamen die besten Modelle nur etwa 3{%} der Antworten richtig, während sie bei den einfachsten etwa 83 % erreichten. Diese riesige Lücke bedeutet, dass es noch viel Raum gibt, damit die KI tatsächlich lernt und sich verbessert, anstatt nur nach einem besseren Weg zu suchen, die Fragen zu stellen. Das Paper kommt zu dem Schluss, dass die KI-Community die Dinge möglicherweise überkompliziert hat. Anstatt all ihre Energie in den Bau komplexer Bedienungsanleitungen zu stecken, sollten sie sich darauf konzentrieren, die Modelle selbst intelligenter zu machen und schwierigere Probleme anzugehen. Das „Simplicity Paradox“ ist die Erkenntnis, dass das mächtigste Werkzeug manchmal einfach eine einfache, direkte Frage ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.