Diverse LLMs or Diverse Question Interpretations? That is the Ensembling Question
Dieser Artikel zeigt, dass beim binären Fragenbeantworten mit LLMs das Ensembling verschiedener Frageinterpretationen eines einzelnen Modells bei Verwendung der Mehrheitsabstimmung konsistent besser abschneidet als das Ensembling mehrerer verschiedener Modelle.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, ein kniffliges Rätsel zu lösen, wie etwa: „Ist die Größe eines Regenmessers von Bedeutung?" Sie könnten diese Frage einem einzigen, sehr klugen Freund stellen oder sie einer ganzen Gruppe von Freunden vorlegen. Die große Frage, die diese Arbeit stellt, lautet: Ist es besser, einen Freund zu bitten, das Rätsel auf drei verschiedene Arten zu betrachten, oder drei verschiedene Freunde zu bitten, das Rätsel auf exakt die gleiche Weise zu betrachten?
Die Autoren, Forscher von Intel Labs, machten sich auf die Suche nach der Antwort, indem sie Large Language Models (LLMs) einsetzten – die KI-Gehirne hinter Tools wie ChatGPT. Sie bezeichnen dies als „Ensembling-Frage".
Die beiden Strategien
Die Arbeit vergleicht zwei Methoden, um durch „Diversität" (das Einbringen unterschiedlicher Perspektiven) eine bessere Antwort zu erhalten:
1. Der Ansatz „Viele Freunde" (Modell-Diversität)
Stellen Sie sich vor, Sie haben drei verschiedene Freunde: Alice, Bob und Charlie. Sie alle haben unterschiedliche Persönlichkeiten und Denkweisen. Sie stellen ihnen allen exakt die gleiche Frage: „Ist die Größe eines Regenmessers von Bedeutung?"
- Das Ziel: Sie hoffen, dass, wenn Alice einen Fehler macht, Bob oder Charlie vielleicht richtig liegen.
- Das Ergebnis: Die Arbeit ergab, dass dies oft nur eine durchschnittliche Antwort liefert. Wenn Alice großartig ist, Bob okay und Charlie schrecklich ist, landet die Gruppenabstimmung meist irgendwo in der Mitte. Es macht die Gruppe nicht magisch schlauer als den besten einzelnen Freund.
2. Der Ansatz „Ein Freund, drei Hüte" (Vielfalt der Frageinterpretation)
Stellen Sie sich vor, Sie fragen nur einen Freund (sagen wir, eine sehr intelligente KI namens GPT-3.5). Aber bevor er antwortet, bitten Sie ihn, drei verschiedene „Hüte" oder Linsen aufzusetzen, um die Frage zu betrachten.
- Hut 1 (Wissenschaftler): „Wie wirkt sich dies auf die Genauigkeit der Regenmessung aus?"
- Hut 2 (Ingenieur): „Wie wirkt sich dies auf die Kosten und das Design des Messgeräts aus?"
- Hut 3 (Umweltschützer): „Wie verändert dies unser Verständnis der Auswirkungen von Niederschlag auf die Natur?"
Der Freund beantwortet die Frage dreimal, einmal für jeden Hut. Anschließend treffen Sie eine Abstimmung über die drei Antworten. - Das Ziel: Indem Sie die KI zwingen, die Frage aus verschiedenen Blickwinkeln zu betrachten, decken Sie Nuancen auf, die eine einzelne, direkte Lesart möglicherweise übersehen würde.
- Das Ergebnis: Dieser Ansatz gewann konsequent. Die Methode „Ein Freund, drei Hüte" lieferte bessere Antworten als die Frage an drei verschiedene Freunde mit derselben Frage.
Warum gewann der Ansatz „Ein Freund"?
Die Arbeit legt nahe, dass das Problem beim Befragen von drei verschiedenen Modellen (der Ansatz „Viele Freunde") darin besteht, dass sie oft die gleichen Fehler machen. Obwohl es sich um unterschiedliche Modelle handelt, wurden sie auf ähnlichen Daten trainiert und teilen ähnliche „blinde Flecken". Wenn sie die Frage alle auf die gleiche Weise missverstehen, hilft eine Abstimmung über ihre Antworten nicht weiter.
Wenn Sie jedoch ein Modell auffordern, die Frage auf unterschiedliche Weise zu interpretieren, zwingen Sie es, aus seinen üblichen Denkmustern auszubrechen. Sie sagen im Grunde: „Beantworte die Frage nicht nur; denke darüber nach, was die Frage bedeuten könnte." Dies erzeugt eine Vielfalt an Antworten, die eher geeignet sind, den korrekten Sachverhalt abzudecken.
Der „Abstimmungs"-Mechanismus
Um die endgültige Antwort zu bestimmen, verwendeten die Forscher eine einfache Mehrheitsentscheidung.
- Wenn der „Wissenschaftler" „Ja" sagt, der „Ingenieur" „Ja" und der „Umweltschützer" „Nein", lautet die endgültige Antwort „Ja".
- Die Arbeit ergab, dass dieses Abstimmungssystem viel besser funktionierte, wenn die Eingaben aus verschiedenen Interpretationen derselben Frage stammten, anstatt aus verschiedenen Modellen.
Das Fazit
Die Arbeit kommt zu dem Schluss, dass es für die Beantwortung einfacher „Ja/Nein"-Fragen besser ist, das Gehirn einer KI zu dehnen, um eine Frage auf mehrere Arten zu betrachten, als eine Menge verschiedener KI-Modelle zu versammeln, um sie auf nur eine Weise zu betrachten.
Es ist wie der Versuch, einen verlorenen Schlüssel in einem dunklen Raum zu finden:
- Modell-Diversität ist wie die Einstellung von drei verschiedenen Personen, um den Raum zu durchsuchen, aber sie alle schauen in exakt dieselbe Ecke, weil ihnen gesagt wurde, dass sie dort suchen sollen.
- Vielfalt der Frageinterpretation ist wie die Einstellung einer Person, um den Raum zu durchsuchen, aber Sie sagen ihr, sie solle nach dem Schlüssel suchen, als wäre er ein Spielzeug, dann als wäre er ein Werkzeug und schließlich als wäre er ein Schmuckstück. Dies zwingt sie, den gesamten Raum gründlicher zu durchsuchen, und sie finden den Schlüssel mit viel größerer Wahrscheinlichkeit.
Die Forscher testeten dies an drei verschiedenen Sätzen von Fragen (über Allgemeinwissen, Strategie und medizinische Wissenschaft) und stellten fest, dass die Methode „Ein Freund, drei Hüte" die Methode „Viele Freunde" konsequent schlug.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.