Comparing Specialised Small and General Large Language Models on Text Classification: 100 Labelled Samples to Achieve Break-Even Performance
Diese Studie zeigt, dass spezialisierte kleine Sprachmodelle bei Textklassifizierungsaufgaben mit durchschnittlich nur 100 beschrifteten Stichproben eine Leistungsparität mit oder Überlegenheit gegenüber allgemeinen großen Sprachmodellen erreichen können, wobei die erforderliche Stichprobengröße je nach Aufgabencharakteristik erheblich variiert und unter Berücksichtigung der Leistungsvarianz deutlich ansteigt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Computer beizubringen, menschliche Sprache zu verstehen, insbesondere das Sortieren von Text in Kategorien (wie etwa zu entscheiden, ob eine Filmkritik „gut“ oder „schlecht“ ist). Sie haben zwei Hauptwerkzeuge zur Auswahl:
- Der „Generalist“-Riese: Eine massive, superintelligente KI (wie ein Large Language Model), die fast das gesamte Internet gelesen hat. Sie ist unglaublich leistungsstark, verbraucht aber viel Strom beim Betrieb. Sie können sie anweisen, die Aufgabe zu erledigen, indem Sie ihr einfach nur ein paar Beispiele geben oder eine einfache Anweisung erteilen, ohne ihr etwas Neues beibringen zu müssen.
- Der „Spezialist“-Kleines Modell: Eine kleinere, günstigere KI, die Sie speziell für Ihre eine Aufgabe trainieren. Sie weiß zu Beginn weniger, aber Sie können sie „lehren“, indem Sie ihr beschriftete Beispiele zeigen.
Die große Frage, die dieses Paper beantwortet, laet: Wie viele Beispiele müssen Sie dem „Spezialisten“ zeigen, bevor er besser wird als der „Generalist“, den man einfach nur bittet, die Aufgabe zu erledigen?
Hier ist die Aufschlüsselung ihrer Ergebnisse, unter Verwendung einfacher Analogien:
1. Der „Break-Even“-Punkt: Die 100-Beispiele-Regel
Stellen Sie sich den „Generalisten“ wie einen weltberühmten Koch vor, der alles kochen kann, wenn man ihm nur ein Rezept gibt (einen Prompt). Der „Spezialist“ ist ein lokaler Koch, der für Ihr spezifisches Gericht trainiert werden muss.
Die Forscher fanden heraus, dass Sie keine ganze Armee von Trainern einstellen müssen. Im Durchschnitt müssen Sie dem Spezialisten nur etwa 100 Beispiele (beschriftte Stichproben) zeigen, damit er so gut oder sogar besser kocht als der weltberühmte Koch.
- Der Haken: Diese Zahl ändert sich je nach „Gericht“ (der Aufgabe).
- Wenn die Aufgabe einfach ist (wie das Sortieren von Nachrichten in 14 verschiedene Kategorien), sind 100 Beispiele völlig ausreichend.
- Wenn die Aufgabe knifflig ist (wie eine einfache „Ja/Nein“-Frage oder das Verständnis komplexer Grammatik), benötigt der Spezialist vielleicht tausende Beispiele, um zum Generalisten aufzuschließen.
2. Das „Würfelspiel“-Problem (Varianz)
Stellen Sie sich vor, Sie bitten den Generalisten-Koch, 10 Mal ein Essen zu kochen. Es schmeckt jedes Mal ziemlich beständig. Stellen Sie sich nun vor, Sie trainieren den Spezialisten-Koch 10 Mal mit denselben 10 gleichen Rezepten. Manchmal kocht er ein Meisterwerk; manchmal lässt er den Toast anbrennen. Diese Unbeständigkeit nennt man Varianz.
Das Paper stellte fest, dass man, wenn man nur auf das Durchschnittsergebnis schaut, 100 Beispiele als die magische Zahl ansehen kann. Aber wenn Sie sichergehen wollen, dass der Spezialist immer einen guten Job macht (indem man diese schlechten „verbrannten Toast“-Tage berücksichtigt), müssen Sie viel konservativer vorgehen.
- Der Realitätscheck: Wenn man diese Zufälligkeit berücksichtigt, springt die Anzahl der Beispiele, die Sie benötigen, im Durchschnitt um 100 % bis 200 %. Anstatt 100 Beispielen benötigen Sie also vielleicht 200 bis 300, um zu garantieren, dass der Spezialist den Generalisten konsistent schlägt.
- In einigen sehr schwierigen Fällen benötigt der Spezialist vielleicht 3.000 % mehr Beispiele, um zuverlässig zu sein!
3. Größer ist nicht immer besser
Es gibt den weit verbreiteten Glauben, dass „Größer besser ist“. Wenn Sie einen größeren Generalisten-Koch haben (ein größeres Modell), sollte er klüger und beständiger sein, richtig?
- Das Ergebnis: Nicht unbedingt. Die Forscher fanden heraus, dass größere Modelle nicht immer besser performen oder beständiger bleiben. Manchmal macht ein mittelgroßes Modell tatsächlich einen besseren Job als ein riesiges.
- Der „Quantisierungs“-Trick: Man kann diese riesigen Modelle verkleinern (wie das Komprimieren eines hochauflösenden Fotos in eine kleinere Datei), um Strom zu sparen. Das Paper fand heraus, dass dieses „Verkleinern“ (4-Bit-Quantisierung) kaum Einfluss darauf hat, wie gut sie kochen oder wie beständig sie sind. Wenn Sie also Geld für Strom sparen wollen, können Sie bedenkenlos die „geschrumpften“ Versionen verwenden, ohne viel an Leistung einzubüßen.
4. Wie man seinen Koch auswählt (Empfehlungen)
Basierend auf ihren Experimenten ist hier der praktische Rat:
- Verwenden Sie den Generalisten (Zero-Shot), wenn: Sie einen schnellen Prototypen benötigen, fast keine beschrifteten Daten haben oder die Aufgabe darin besteht, neuen Text zu erstellen (wie das Schreiben einer Geschichte) anstatt ihn nur zu sortieren.
- Verwenden Sie den Spezialisten (Fine-Tuning), wenn: Sie über eine ordentliche Menge an Daten verfügen (etwa 100+ Beispiele) und ein begrenztes Budget für den Betrieb des Computers haben. Selbst ein kleines Modell kann den Riesen schlagen, wenn Sie es genügend Beispiele trainieren lassen.
- Verwenden Sie Instruction-Tuning, wenn: Sie über ein großes Budget für Rechenleistung verfügen. Dies ist ein Mittelweg, bei dem Sie den Generalisten lehren, Anweisungen spezifisch für Ihre Aufgabe zu befolgen. Es bietet die beste Balance zwischen Performance und Dateneffizienz.
Das Fazofit
Sie brauchen keinen massiven Datensatz, um eine kleine, spezialisierte KI zu trainieren, die eine riesige, allgemeine KI schlägt. Etwa 100 Beispiele sind oft ausreichend. Da KI jedoch ein wenig unvorhersehbar sein kann (wie beim Würfelspiel), sollten Sie planen, das Doppelte oder Dreifache dieser Menge zu sammeln, wenn Sie absolut sicher sein wollen, dass das kleine Modell jedes Mal gewinnt. Und machen Sie sich keine Sorgen über die Verwendung der „geschrumpften“ Versionen großer Modelle; sie funktionieren genauso gut und sparen Ihnen viel Energie.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.