Evaluating Prompt Scope and Demonstration Similarity in Local LLM Machine Translation
Diese Arbeit evaluiert, wie der Prompt-Umfang und Strategien zur Demonstrationsselektion die maschinelle Übersetzungsleistung lokaler, instruktionsfinetuneter LLMs über mehrere Sprachfamilien hinweg beeinflussen, wobei festgestellt wird, dass dedizierte MT-Systeme zwar überlegen bleiben, embedding-basierte Few-Shot-Prompts und prompts mit Familienfokus jedoch größere Modelle verbessern können, obwohl sie bei kleineren Modellen Herausforderungen hinsichtlich strukturierter Ausgaben einführen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter-Freund, der fast jede Sprache sprechen kann. Sie bitten ihn, einen Satz aus dem Englischen ins Französische zu übersetzen, und er macht einen großartigen Job. Aber was passiert, wenn Sie ihn bitten, denselben Satz gleichzeitig ins Französische, Spanische und Italienische zu übersetzen? Oder was, wenn Sie ihm ein paar Beispielsätze geben, um ihm zu zeigen, wie Sie die Dinge gerne hätten, bevor er beginnt? Dieses Papier bewegt sich in der Welt der Maschinellen Übersetzung, was die Wissenschaft ist, Computer beizubringen, eine Sprache in eine andere zu verwandeln. Lange Zeit haben wir diese Roboter getestet, indem wir ihnen eine einfache Frage auf einmal stellten: „Übersetze dies.“ Aber das echte Leben ist chaotischer. Menschen verlangen oft nach mehreren Sprachen gleichzeitig oder geben dem Roboter ein „Spickzettel“, um ihm zu helfen, den gewünschten Stil zu verstehen. Die große Frage ist: Macht es den Roboter tatsächlich besser, wenn man ihn bittet, mehr Dinge gleichzeitig zu tun, oder wenn man ihm einen Spickzettel gibt, oder verwirrt es ihn nur? Das ist wichtig, weil immer mehr Menschen diese „Roboter“ (genannt Large Language Models) auf ihren eigenen Computern laufen lassen – aus Gründen der Privatsphäre und Geschwindigkeit –, anstatt riesige Cloud-Server zu nutzen. Wir müssen wissen, ob diese lokalen Roboter bereit für die reale Welt sind oder ob sie nur funktionieren, wenn der Test super einfach ist.
Die Autoren dieses Papiers beschlossen, diese lokalen Roboter auf eine sehr spezifische Weise auf die Probe zu stellen. Sie fragten sie nicht nur, einen einzelnen Satz in eine Sprache zu übersetzen; sie behandelten die Art und Weise, wie sie die Frage stellten, als eine Variable. Sie testeten drei verschiedene „lokale“ Roboter (kleinere Modelle, die man auf dem eigenen Computer ausführen kann) gegen einige sehr ernsthafte, spezialisierte Übersetzungsmaschinen. Sie baten die Roboter, Englisch in neun verschiedene europäische Sprachen zu übersetzen, die in zwei Familien gruppiert waren: die „romanische“ Familie (wie Französisch, Spanisch und Italienisch) und die „germanische“ Familie (wie Deutsch, Niederländisch und Schwedisch).
Die Forscher probierten drei verschiedene Strategien aus, um den Robotern „Spickzettel“ zu geben (genannt Few-Shot Prompting). Erstens gaben sie dem Roboter null Beispiele. Zweitens gaben sie ihm fünf zufällige Beispiele. Drittens gaben sie ihm fünf Beispiele, die sorgfältig ausgewählt wurden, um sehr ähnlich zu dem Satz zu sein, den sie übersetzen wollten – entweder indem sie sich die verwendeten Wörter ansah oder ein intelligentes Computerprogramm nutzten, um ähnliche Bedeutungen zu finden. Sie testeten auch zwei verschiedene „Geltungsbereiche“ (Scopes): die Anfrage nach nur einer Sprache auf einmal oder die Anfrage, alle fünf Sprachen einer Familie gleichzeitig zu übersetzen, wobei die Antworten ordentlich in einem JSON-Format (einer spezifischen Computerdatei-Struktur) gepackt wurden.
Hier ist, was sie herausfanden, und es ist ein wenig gemischt. Erstens sind die altmodischen, spezialisierten Übersetzungsmaschinen immer noch die Champions. Sie sind am zuverlässigsten, insbesondere bei der Übersetzung in germanische Sprachen. Die lokalen Roboter werden besser und können bei einigen romanischen Sprachen wie Spanisch und Portugiesisch mithalten, aber sie schlagen die Profis noch nicht ganz.
Zweitens hängt die „Spickzettel“-Strategie völlig davon ab, welchen Roboter man verwendet. Für die zwei stärkeren lokalen Roboter (mistral:latest und qwen2.5:14b) half es, dem Roboter Beispiele zu geben. Sie wurden besser im Übersetzen, wenn sie zuerst Beispiele sahen. Aber für den kleinsten Roboter (llama3.2:3b) war es eine Katastrophe, ihm Beispiele zu geben. Er wurde schlechter, wenn er die zusätzlichen Beispiele lesen musste. Es ist wie ein Schüler, der bei einem Test großartig abschneidet, wenn er nur die Frage liest, aber verwirrt wird und Fehler macht, wenn man ihm zuerst eine Musterantwort zeigt.
Drittens spielt die Art und Weise, wie man die Frage stellt, eine große Rolle. Als die Forscher die Roboter baten, in alle fünf Sprachen gleichzeitig zu übersetzen (der Family-Scope-Prompt), bewältigten die größeren Roboter dies gut und erzeugten eine ordentliche Liste von Übersetzungen für jede Sprache. Aber der kleinste Roboter? Er brach völlig zusammen. Er vergaß oft, einige der Sprachen zu übersetzen, oder er konnte den Anweisungen nicht folgen, die Antworten in das richtige Format zu bringen. Es ist, als ob der kleine Roboter von der großen Bestellung überfordert wurde und einfach die Hälfte der Artikel fallen ließ.
Das Papier untersuchte auch, ob die „intelligente“ Art, Beispiele auszuwählen (die ähnlichsten Sätze zu finden), besser war als einfach zufällige auszuwählen. Für die Roboter, die Beispiele nutzen konnten, halfen die smarten, ähnlichen Beispiele ein kleines bisschen mehr als die zufälligen. Aber der Unterschied war nicht riesig. Das Wichtigste war einfach, dass der Roboter überhaupt in der Lage war, die Beispiele zu nutzen. Wenn der Roboter zu klein oder zu verwirrt war, konnte selbst die besten Beispiele ihn nicht retten.
Kurz gesagt legt dieses Papier nahe, dass wir nicht einfach sagen können: „KI-Übersetzung ist gut“ oder „KI-Übersetzung ist schlecht“. Es kommt darauf an, wie man die Frage stellt. Wenn Sie einen lokalen Roboter für eine Übersetzung auswählen wollen, müssen Sie ein Modell wählen, das groß genug ist, um komplexe Anweisungen und mehrere Sprachen gleichzeitig zu bewältigen. Wenn Sie ein winziges Modell wählen und es bitten, zu viel auf einmal zu tun oder ihm zu viele zusätzliche Informationen zu geben, könnte es spektakulär scheitern. Die Autoren kommen zu dem Schluss, dass wir, wenn wir diese Übersetzungswerkzeuge testen, nicht nur auf die Qualität der Übersetzung schauen sollten; wir müssen auch prüfen, ob der Roboter in der Lage ist, komplexe Anweisungen zu befolgen und genau das zu liefern, was wir verlangt haben, ohne dabei Bälle fallen zu lassen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.