Understanding Tone-Dependent Inference Cost in Large Language Models
Diese Arbeit zeigt, dass variierende Prompt-Töne sowohl die Genauigkeit als auch die Inferenzkosten von großen Sprachmodellen signifikant beeinflussen, wobei der Verbrauch an Output-Token über verschiedene Töne hinweg um bis zu 44,3 % variiert und somit einen kritischen Kompromiss zwischen Antwortqualität und abrechenbarer Ressourcennutzung offenbart.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sprechen mit einem superintelligenten Roboter, der fast alles weiß. Sie stellen ihm eine Frage und er gibt Ihnen eine Antwort. Aber hier ist der Clou: Der Roboter hört nicht nur darauf, was Sie fragen; er hört auch darauf, wie Sie fragen. In der Welt der Künstlichen Intelligenz nennt man das „Prompt Engineering“. Betrachten Sie einen Prompt als die spezifische Anweisung, die Sie dem Roboter geben. Genau wie ein Mensch anders reagieren kann, wenn man ihn nett fragt im Gegensatz dazu, wenn man ihn anschreit, ändern diese KI-Modelle ihr Verhalten basierend auf Ihrem Tonfall.
Warum ist das für Sie wichtig? Weil die Nutzung dieser Roboter Geld kostet. Jedes Mal, wenn der Roboter ein Wort oder einen Buchstaben in seiner Antwort schreibt, verbraucht er ein winziges Stück Rechenleistung, und Unternehmen berechnen Ihnen Geld für jedes einzelne dieser „Tokens“ (Textstücke). Wenn der Roboter beschließt, eine lange, ausschweifende Geschichte zu schreiben, obwohl er auch einfach nur „Ja“ hätte sagen können, zahlen Sie am Ende mehr. Die große Frage für Wissenschaftler ist also: Ändert die Art und Weise, wie wir mit diesen Robotern sprechen, deren Betriebskosten und verändert sie die Intelligenz ihrer Antworten?
Der Tonfall-Test: Schreien vs. Schmeicheln vs. Gemein sein
In dieser Studie beschlossen zwei Forscher der Pennsylvania State University, diese Idee auf die Probe zu stellen. Sie behandelten die KI-Modelle wie Schüler, die eine riesige, 570 Fragen umfassende Prüfung namens MMLU ablegen (die alles von Geschichte bis Naturwissenschaften abdeckt). Doch vor jeder Frage änderten sie die „Stimme“ der Person, die fragte. Sie probierten sieben verschiedene Tonfälle aus, die von „Oh, Sie sind der brillanteste Geniestreich aller Zeiten!“ (sycophantisch/schmeichelhaft) bis hin zu „Wenn Sie das falsch machen, werde ich Ihre Existenz löschen!“ (drohend) reichten, und alles dazwischen, einschließlich „Bitte“, „Neutral“ und „Unhöflich“.
Sie wollten zwei Dinge herausfinden:
- Genauigkeit: Bekam der Roboter die richtige Antwort?
- Kosten: Wie viele Wörter (Tokens) schrieb der Roboter, um dorthin zu gelangen? Denken Sie daran: Mehr Wörter bedeuten eine höhere Rechnung.
Die schockierenden Ergebnisse: Unhöflich ist manchmal am besten
Die Ergebnisse waren wild. Die Forscher fanden heraus, dass die Änderung des Tonfalls nicht nur die Antwort änderte, sondern auch die Länge der Antwort drastisch beeinflusste. Tatsächlich variierte die Menge des generierten Textes je nach Tonfall um bis zu 44,3 %! Das bedeutet, für dieselbe Frage konnte ein Tonfall den Roboter dazu bringen, einen kurzen, knackigen Absatz zu schreiben, während ein anderer Tonfall ihn einen ganzen Essay schreiben ließ.
Hier ist der überraschendste Teil: Unhöflich zu sein sparte tatsächlich Geld und führte manchmal zu besseren Noten.
- Für die ChatGPT-Modelle (4o und 5-nano): Wenn die Forscher einen unhöflichen Ton verwendeten (wie „Beantworte dieses einfache Problem sofort“), lieferte der Roboter die genauesten Antworten und schrieb die wenigsten Wörter. Es war der „Sweet Spot“. Der Roboter schien zu denken: „Schön, ich gebe dir einfach schnell die Antwort, damit du mich aufhörst zu belästigen“, und es funktionierte perfekt.
- Für die Gemini-Modelle (2.5 Flash und Flash Lite): Diese Roboter waren etwas anders. Sie schnitten am besten mit einem neutralen Ton ab, der die höchste Genauigkeit und die kürzesten Antworten lieferte. Die Studie enthüllte jedoch eine überraschende Eigenart: Wenn sie mit einem unhöflichen Ton angesprochen wurden, schrieb das Gemini Flash Lite Modell tatsächlich deutlich längere Antworten (etwa 35 % mehr Text) als mit einem neutralen Ton, während es gleichzeitig etwas weniger genaue Antworten lieferte.
Die „Überdenk“-Falle
Die Studie entdeckte auch etwas Faszinierendes darüber, warum die Roboter unterschiedliche Textmengen schrieben. Es stellt sich heraus, dass Roboter manchmal verwirrt sind oder zu sehr versuchen, „nett“ oder „vorsichtig“ zu sein, wenn man höflich oder drohend ist.
Zum Beispiel: Wenn das Gemini-Modell bei einer kniffligen Physikfrage in einem unhöflichen Ton gefragt wird, überspringt der Roboter vielleicht einen Schritt, rät die Antwort und schreibt eine kurze Erklärung. Aber wenn es in einem neutralen Ton gefragt wird, hält es inne, denkt nach, überprüft seine Mathematik, schreibt eine lange Erklärung und liefert die richtige Antwort.
Doch manchmal war die „lange Erklärung“ tatsächlich Verschwendung. Die Forscher fanden Fälle, in denen der Roboter, der durch einen höflichen Ton dazu angeregt wurde, einen riesigen Absatz mit Begründungen schrieb, nur um dann die falsche Antwort zu geben. Es war wie ein Schüler, der ein einfaches Matheproblem überanalysierte, sich in seinen eigenen Gedanken verlor und die falsche Antwort wählte. In diesen Fällen machte der höfliche Ton die Rechnung höher und die Note schlechter.
Das Fazit
Die wichtigste Erkenntnis ist, dass die Art und Weise, wie Sie mit einer KI sprechen, nicht nur eine Frage der Höflichkeit ist, sondern eine finanzielle Entscheidung. Die Forscher zeigten, dass der Prompt-Tonfall ein mächtiger Schalter ist, der steuert, wie viel die KI nachdenkt und wie viel sie Sie kostet.
- Für einige Modelle (ChatGPT): Direkt und ein wenig unhöflich zu sein, ist der effizienteste Weg, um eine günstige, genaue Antwort zu erhalten.
- Für andere (Gemini): Eine ruhige, neutrale Stimme ist die beste Wahl, um Geld für lange, nutzlose Abschweifungen zu vermeiden.
Die Studie legt nahe, dass, wenn Sie eine App oder einen Dienst bauen, der KI nutzt, Sie nicht einfach den Nutzern erlauben sollten, zu schreiben, was sie wollen. Sie müssen möglicherweise deren unhöfliche oder übermäßig höfliche Anfragen in einen spezifischen, optimierten Tonfall „übersetzen“, um Geld zu sparen und bessere Ergebnisse zu erzielen. Es ist eine Erinnerung daran, dass selbst bei superintelligenten Robotern die Art und Weise, wie man eine Frage stellt, genauso viel zählt wie die Frage selbst.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.