Activation-Based Active Learning for In-Context Learning: Challenges and Insights

Stellen Sie sich vor, Sie versuchen, einem brillanten, aber sehr neuen Schüler (einem Large Language Model) beizubringen, wie man eine bestimmte Art von Rätsel löst. Anstatt ihm ein langes Lehrbuch zum Studieren zu geben, geben Sie ihm kurz vor der Prüfung ein paar Beispiele. Dies nennt man In-Context Learning.

Die große Frage, die Forscher gestellt haben, lautet: Welche Beispiele sollten wir auswählen? Wenn wir die „besten“ Beispiele wählen, bekommt der Schüler eine bessere Note. Wenn wir schlechte auswählen, könnten sie verwirrt werden.

Die große Idee: Auf die Gehirnwellen des Schülers hören

Die Autoren dieser Arbeit hatten eine clevere Hypothese. Sie dachten: „Vielleicht können wir die Gehirnaktivität des Schülers beobachten, während er sich ein Beispiel ansieht, um zu sehen, ob es ein gutes ist.“

In der Computersprache werden diese „Gehirnwellen“ als Aktivierungen bezeichnet. Wenn das Modell ein Beispiel verarbeitet, leuchten bestimmte Teile seiner internen Mechanik (speziell die MLP-Schichten, die wie die Gedächtnisbanken des Modells funktionieren) auf. Die Forscher wollten messen, wie hell diese Lichter aufleuchteten. Sie dachten:

• Hellere Lichter = Ein wichtiges, hochwertiges Beispiel.
• Dimmere Lichter = Ein langweiliges, nutzloses Beispiel.

Sie versuchten, diese „Gehirnwellen-Messungen“ zu nutzen, um automatisch die besten Beispiele für den Schüler auszuwählen. Sie probierten sogar verschiedene Arten aus, dem Schüler die Beispiele zu zeigen (wie etwa, ihm die ganze Seite auf einmal lesen zu lassen im Vergleich dazu, Zeile für Zeile zu lesen), um zu sehen, ob dies die Gehirnwellenmuster veränderte.

Das Experiment: Die Theorie testen

Das Team führte ein massives Experiment durch. Sie verwendeten zwei populäre KI-Modelle (Llama und Qwen) und testeten sie auf vier verschiedene Arten von Aufgaben:

1. Wahr/Falsch-Fragen (BoolQ)
2. Multiple-Choice-Wissenschaftsfragen (ARC-Challenge, OpenBookQA)
3. Mathematische Textaufgaben (GSM8K)

Für jede Aufgabe nahmen sie 1.000 potenzielle Beispiele. Sie maßen die „Gehirnwellen“ (Aktivierungen) für jedes einzelne Beispiel mit verschiedenen mathematischen Werkzeugen (wie dem Prüfen der durchschnittlichen Helligkeit, der Streuung des Lichts oder des größten einzelnen Blitzes). Dann testeten sie das Modell tatsächlich mit diesen Beispielen, um zu sehen, wie gut es abschnitt.

Schließlich verglichen sie die Gehirnwellen-Scores mit den tatsächlichen Testergebnissen. Sie suchten nach einer starken Verbindung: Haben die Beispiele mit den hellsten Gehirnwellen dem Modell tatsächlich geholfen, bessere Noten zu erzielen?

Das Ergebnis: Ein „negativer“ Befund

Hier kommt die Pointe: Es hat nicht funktioniert.

Die Forscher fanden fast keinen Zusammenhang zwischen den Gehirnwellenmustern und der Leistung des Modells.

• Die Korrelation war extrem schwach (bestenfalls ein Wert von 0,33 von 1,0, was kaum mehr als ein Flüstern einer Beziehung ist).
• Manchmal führten die Beispiele mit den „hellsten“ Gehirnwellen sogar dazu, dass das Modell schlechter abschnitt, als wenn man einfach Zufallsexemplare gewählt hätte.
• Selbst als sie verschiedene Arten des Maskierens versuchten (das Verbergen von Teilen des Textes, um zu ändern, wie das Modell liest), blieb das Ergebnis gleich: Die Gehirnwellen sagten den Erfolg nicht voraus.

Warum ist es gescheitert? Die „Superposition“-Analogie

Die Autoren bieten eine Theorie an, warum dies geschah, unter Verwendung eines Konzepts namens Superposition.

Stellen Sie sich einen überfüllten Raum vor, in dem alle gleichzeitig versuchen zu sprechen. In einem normalen Raum, wenn Sie eine Person hören wollen, hören Sie einfach auf ihre Stimme. Aber in diesem „Raum“ des KI-Modells (seinen internen Dimensionen) finden mehr Gespräche statt, als es Menschen zum Zuhören gibt.

Um all diese Gespräche in den begrenzten Raum zu passen, mischt das Modell sie zusammen. Ein einzelnes „Licht“ im Gehirn ist nicht nur über einen spezifischen Fakt; es ist eine komplexe, verhedderte Mischung aus vielen verschiedenen Fakten und Ideen. Da die Signale so durcheinander und vermischt sind, sagt das bloße Betrachten der „rohen Helligkeit“ der Lichter nicht aus, ob ein spezifisches Beispiel gut oder schlecht ist. Es ist, als würde man versuchen, die Qualität einer bestimmten Zutat in einem Smoothie zu beurteilen, indem man nur auf die Farbe des gesamten Getränks schaut; die Farben sind zu stark vermischt, um zu erkennen, was drin ist.

Das Fazleit

Die Arbeit kommt zu dem Schluss, dass man keine rohen Gehirnwellen-Messungen (MLP-Aktivierungen) verwenden kann, um gute Beispiele für eine KI auszuwählen. Es ist eine Sackgasse für diese spezifische Methode.

Die Autoren schlagen jedoch einen Weg nach vorne vor. Da die Signale so vermischt sind, benötigen wir möglicherweise ein spezielles Werkzeug, um sie zuerst zu „entmischen“. Sie schlagen die Verwendung von etwas namens Sparse Autoencoders (SAEs) vor, die wie ein ausgeklügeltes Filter wirken, um die verhedderten Gespräche im Raum zu trennen, damit wir die einzelnen Stimmen tatsächlich hören können. Bis wir diesen Filter haben, sollten wir uns nicht auf diese Aktivierungssignale verlassen, um unsere Beispiele auszuwählen.

Kurz gesagt: Die Idee, die interne „Glow“ (das Leuchten) der KI zu nutzen, um Beispiele auszuwählen, war eine großartige Theorie, aber das Experiment zeigte, dass sie in der Praxis nicht funktioniert, weil die internen Signale der KI zu chaotisch sind, um sie direkt zu interpretieren.