💻 computer science

F-TIS: Harnessing Diverse Models in Collaborative GRPO

Das Papier schlägt Filtered Truncated Importance Sampling (F-TIS) vor, ein kommunikationseffizientes GRPO-Trainingsparadigma, das heterogene Modelle in dezentralen Umgebungen zur Zusammenarbeit befähigt, indem es off-policy-Stichproben effektiv nutzt, um eine Konvergenz zu erreichen, die mit on-policy-Training vergleichbar ist, während gleichzeitig die Generalisierung bei Aufgaben außerhalb der Verteilung potenziell verbessert wird.

Ursprüngliche Autoren: Nikolay Blagoev, Oğuzhan Ersoy, Wendelin Boehmer, Lydia Yiyu Chen

Veröffentlicht 2026-05-22

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Nikolay Blagoev, Oğuzhan Ersoy, Wendelin Boehmer, Lydia Yiyu Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einer Gruppe von Schülern beizubringen, komplexe Mathematikaufgaben zu lösen. In der Welt der Künstlichen Intelligenz wird dieser „Lehrprozess" als Reinforcement Learning (RL) bezeichnet. Konkret konzentriert sich das Papier auf eine beliebte Methode namens GRPO, die wie ein Klassenzimmer funktioniert, in dem der Lehrer eine Aufgabe stellt und die Schüler (KI-Modelle) alle gleichzeitig versuchen, sie zu lösen.

Normalerweise muss für einen optimalen Erfolg jeder Schüler genau auf demselben Niveau sein und dasselbe Lehrbuch verwenden. Wenn ein Schüler ein Genie ist und ein anderer gerade erst beginnt, oder wenn sie verschiedene Versionen des Lehrbuchs verwenden, gerät der Lehrer in Verwirrung, und der Lernprozess verlangsamt sich oder scheitert. Dies ist das Problem, das das Papier adressiert: Wie unterrichtet man eine gemischte Gruppe von KI-Modellen mit unterschiedlichen Größen, Fähigkeiten und Einstellungen, wenn sie alle zusammenarbeiten?

Hier ist eine Aufschlüsselung der Lösung des Papiers, F-TIS, unter Verwendung einfacher Analogien:

Das Problem: Das „Fehlabgestimmte Klassenzimmer"

Bei der alten Methode (genannt „on-policy") musste jeder in der Trainingsgruppe identisch sein.

Der Flaschenhals: Das Generieren von Antworten dauert lange. Um dies zu beschleunigen, versuchten Forscher, die Arbeit auf viele Computer aufzuteilen.
Die Abweichung: Wenn man verschiedene Computer dieselbe Aufgabe bearbeiten lässt, führen winzige Unterschiede in ihrer Mathematik (wie die Verwendung eines leicht unterschiedlichen Taschenrechners) dazu, dass ihre Antworten auseinanderdriften.
Das Ergebnis: Wenn der „Lehrer" versucht, aus diesen gemischten Antworten zu lernen, erhält er verrauschte Daten. Es ist wie ein Chor, in dem jeder eine leicht andere Melodie singt; der Dirigent (der Trainingsalgorithmus) gerät in Verwirrung, und das Lied (die Leistung der KI) bricht zusammen.

Die Lösung: F-TIS (Der Intelligente Filter)

Die Autoren schlagen eine neue Methode namens Filtered Truncated Importance Sampling (F-TIS) vor. Stellen Sie sich dies als ein intelligentes Klassenzimmer-Management-System vor, das eine Mischung aus Schülern perfekt handhabt. Es verfügt über zwei Haupttricks:

1. Die „Truncated"-Regel (Die Sicherheitskappe)

Stellen Sie sich vor, ein Schüler gibt eine Antwort, die wild von dem abweicht, was der Lehrer erwartet hat. Bei den alten Methoden könnte der Lehrer durch diesen enormen Unterschied zu sehr aufgeregt oder verängstigt werden und überreagieren, wodurch die Lektion ruiniert wird.

F-TIS setzt eine „Kappe" dafür, wie viel Gewicht diese wilden, abweichenden Antworten erhalten. Es sagt: „Okay, wir hören Sie zu, aber wir lassen Ihre verrückte Antwort unseren Lehrplan nicht zu drastisch ändern." Dies hält das Training stabil, selbst wenn die Schüler sehr unterschiedlich sind.

2. Der „Filter" (Der Mülleimer)

Manchmal gibt ein Schüler eine Antwort, die nicht nur anders, sondern schlecht oder verwirrend ist (wie Kauderwelsch).

F-TIS verfügt über einen Filter, der die Antworten prüft, bevor der Lehrer daraus lernt. Wenn eine Antwort zu weit daneben liegt oder zu verwirrend ist, wird sie für den Lernprozess in den „Mülleimer" geworfen.
Kritisch: Der Lehrer verwendet diese „Müll"-Antworten dennoch, um die durchschnittliche Schwierigkeit der Klasse zu ermitteln, lässt sie aber nicht zu, dass sie den Schülern beibringen, was sie nicht tun sollen. Dies verhindert, dass die Klasse schlechte Gewohnheiten lernt.

Warum dies eine große Sache ist

Das Papier testete dieses System in drei verschiedenen „fehlabgestimmten Klassenzimmer"-Szenarien:

Unterschiedliche Größen: Die Mischung eines kleinen, schnellen KI-Modells (wie eines mit 1,5 Milliarden Parametern) mit einem großen, leistungsstarken KI-Modell (3 Milliarden Parameter).
Unterschiedliche Fähigkeiten: Die Mischung eines allgemeinen KI-Modells mit einem, das auf Programmieren spezialisiert ist.
Unterschiedliche Einstellungen: Die Mischung eines vollständigen KI-Modells mit einem, bei dem nur wenige Teile geändert wurden (wie ein Schüler, der nur seine Stiftfarbe geändert hat).

Die Ergebnisse:

Stabilität: Die gemischten Gruppen lernten genauso gut wie Gruppen, in denen alle identisch waren. Das „Rauschen" der verschiedenen Modelle brach das System nicht.
Überraschender Bonus: In einigen Fällen wurden die gemischten Gruppen tatsächlich besser darin, neue, unbekannte Probleme zu lösen (Aufgaben außerhalb der Verteilung) als die identischen Gruppen. Es ist, als hätte der kleine Schüler einen Trick vom großen Schüler gelernt, und der große Schüler eine neue Perspektive vom kleinen Schüler, was beide schlauer machte.
Effizienz: Das System ist sehr sparsam im Kommunikationsaufwand. Es sendet nur das absolute Minimum an Informationen (die Antwort und eine winzige Bewertung) zwischen den Computern, sodass es das Netzwerk nicht verstopft.

Das Fazit

Das Papier zeigt, dass man nicht alle gleich sein muss, um gemeinsam zu lernen. Durch die Verwendung von F-TIS können Sie verschiedene KI-Modelle mischen und kombinieren – groß und klein, spezialisiert und allgemein – und sie effektiv zusammenarbeiten lassen. Es verwandelt ein chaotisches Klassenzimmer mit fehlabgestimmten Schülern in ein hoch effizientes Lernteam, das oft Ergebnisse liefert, die genauso gut sind wie, oder manchmal sogar besser als, ein Klassenzimmer aus eineiigen Zwillingen.

Technische Zusammenfassung: F-TIS – Nutzung diverser Modelle in der kollaborativen GRPO

Problemstellung

Group Relative Policy Optimization (GRPO) hat sich als dominante Methode für das Nachtrainieren von Large Language Models (LLMs) etabliert, insbesondere zur Verbesserung der reasoning-Fähigkeiten. Im Gegensatz zu Proximal Policy Optimization (PPO) eliminiert GRPO die Notwendigkeit eines separaten Wertmodells, indem es Vorteile relativ zu einer Gruppe von Completions berechnet, die für einen einzelnen Prompt generiert wurden. Die auto-regressive Natur der LLM-Generierung erzeugt jedoch während der Inferenzphase ein erhebliches Rechen-Engpass.

Um dies zu adressieren, haben vorherige Arbeiten die Verteilung des Generierungsschritts über mehrere Knoten untersucht. Bestehende verteilte Ansätze gehen weitgehend von homogenen Modellen (identische Architekturen und Parameter) aus, um „on-policy"-Bedingungen aufrechtzuerhalten. Diese Annahme ist für dezentrale Trainings-Szenarien unpraktisch, in denen Teilnehmer heterogene Ressourcen und Präferenzen besitzen. In solchen Umgebungen entstehen drei Arten von Heterogenität:

Modellgröße: Knoten können Modelle mit stark unterschiedlichen Parameterzahlen ausführen (z. B. 1B vs. 3B).
Modellexpertise: Knoten können Modelle ähnlicher Größe, aber unterschiedlicher Spezialisierung besitzen (z. B. Generalist vs. Coder).
Trainierbare Parameter: Knoten können unterschiedliche Fine-Tuning-Strategien einsetzen (z. B. vollständiges Fine-Tuning vs. Parameter-Effizientes Fine-Tuning wie LoRA).

Wenn heterogene Modelle ohne Anpassung zusammenarbeiten, werden die Trainingsdaten hochgradig off-policy. Die Divergenz zwischen der generierenden Policy ( $\pi_{gen}$ ) und der aktualisierenden Policy ( $\pi_{\theta}$ ) führt zu destruktivem Rauschen, was zum Policy-Collapse oder zu einer signifikant verschlechterten Leistung im Vergleich zum isolierten Training führt.

Methodik: Filtered Truncated Importance Sampling (F-TIS)

Die Autoren schlagen F-TIS vor, ein einheitliches Framework, das stabiles kollaboratives GRPO-Training über heterogene Modelle hinweg ermöglicht und gleichzeitig den Kommunikationsaufwand minimiert. Die Methodik kombiniert zwei Schlüsselmechanismen: Truncated Importance Sampling (TIS) und Sample Filtering.

1. Truncated Importance Sampling (TIS)

Standard-GRPO geht von on-policy-Daten aus. Um off-policy-Samples zu handhaben, passen die Autoren die Verlustfunktion mittels Importance Sampling an. Sie vergleichen drei Ansätze:

NoIS (No Importance Sampling): Behandelt alle Samples als on-policy (Baseline für das Scheitern).
VIS (Vanilla Importance Sampling): Wendet das Importance-Verhältnis $\frac{\pi_{\theta}}{\pi_{gen}}$ auf jedes Token an.
TIS (Truncated Importance Sampling): Begrenzt das Importance-Verhältnis auf eine Konstante $C$ (z. B. $C=2$ ), um zu verhindern, dass extreme Gewichte das Training destabilisieren. Das Verhältnis wird aus der inneren Summation über die Tokens herausgenommen.

Die TIS-Verlustformulierung lautet:
$\mathcal{L}_{GRPO} = \frac{1}{G} \sum_{i=1}^{G} \frac{1}{|a_i|} \sum_{t=1}^{|a_i|} \min \left( \frac{\pi_{\theta}(a_{i,t}|p \circ a_{i,<t})}{\pi_{gen}(a_{i,t}|p \circ a_{i,<t})}, C \right) \cdot \min \left( R_{i,\theta} \hat{A}_i, \text{clip}(R_{i,\theta} \hat{A}_i, 1-\epsilon, 1+\epsilon) \right)$
Wobei $R_{i,\theta}$ das getrennte Verhältnis und $\hat{A}_i$ der Gruppenvorteil ist.

2. Sample Filtering

Die Autoren beobachten, dass off-policy-Samples mit negativen Vorteilen ( $\hat{A}_i < 0$ ) unwahrscheinliche Tokens verstärken können, was zu sinnlosen Completions führt. Sie führen einen Filtermechanismus ein, der auf Folgendem basiert:

Vorteil: Samples mit $\hat{A}_i < 0$ werden für den Aktualisierungsschritt verworfen.
KL-Divergenz: Samples, bei denen die KL-Divergenz zwischen der aktuellen Policy und der generierenden Policy einen Schwellenwert $g$ überschreitet ( $D_{KL}(\pi_{\theta} \parallel \pi_{gen}) > g$ ), werden ebenfalls gefiltert.

Gefilterte Samples werden dennoch zur Berechnung des Gruppenvorteils verwendet (um das relative Ranking der Gruppe aufrechtzuerhalten), sind jedoch vom Gradienten-Update ausgeschlossen.

3. Das F-TIS Framework

F-TIS integriert TIS und Filtering. Der Vorteilsterm $\hat{A}_{t,i}$ in der Verlustfunktion wird auf 0 gesetzt, wenn das Sample gefiltert ist (d. h. wenn $\hat{A}_i \leq 0$ ODER $D_{KL} > g$ ).

Kommunikationseffizienz: Das Framework erfordert minimalen Kommunikationsaufwand und überträgt nur Tokens und Log-Wahrscheinlichkeiten (ca. 8 Bytes pro Token), was es für dezentrale Netzwerke geeignet macht.

Hauptbeiträge

Identifikation von Heterogenitäts-Herausforderungen: Die Arbeit zeigt empirisch, dass Standard-GRPO in dezentralen heterogenen Umgebungen (NoIS) versagt und zu einer Leistungsverschlechterung im Vergleich zum isolierten Training führt.
F-TIS-Algorithmus: Ein neuartiges Trainingsparadigma, das erfolgreich off-policy-Samples von diversen Modellen (unterschiedliche Größen, Expertise und PEFT-Konfigurationen) nutzt, ohne die Policy kollabieren zu lassen.
Kommunikationseffizienz: Der Ansatz hält den Kommunikationsaufwand gering und erfordert nur Log-Wahrscheinlichkeiten und Tokens, im Gegensatz zu Methoden, die eine vollständige Modellsynchronisation oder den Austausch schwerer Wertemodelle benötigen.
Ablationsstudien: Die Autoren analysieren systematisch den Einfluss des Filtering-Schwellenwerts $g$ und vergleichen F-TIS mit F-VIS (Filtered Vanilla Importance Sampling) und zeigen die Überlegenheit der Truncierung in späteren Trainingsphasen auf.

Experimentelle Ergebnisse

Die Autoren bewerteten F-TIS auf dem GSM8k-Datensatz für das Training und dem MATH-500-Datensatz für Out-of-Distribution (OOD)-Tests unter Verwendung von Qwen2.5-Modellen (1.5B und 3B, Varianten Base und Coder).

Konvergenz: F-TIS erreicht eine finale Modellkonvergenz, die mit rein on-policy (homogenem) Training über alle heterogenen Setups hinweg identisch ist.
Generalisierung (OOD): In mehreren Konfigurationen übertraf F-TIS das isolierte on-policy-Training bei OOD-Aufgaben. Bemerkenswert:
- Das 3B Coder-Modell, gepaart mit einem Base-Modell, verbesserte seine MATH-500-Leistung um 5,2 %.
- Das 3B Coder-Modell, gepaart mit einem kleineren Coder-Modell, verbesserte sich um 12 %.
- Das 3B PEFT-Modell verbesserte sich um 7 %, wenn es kollaborativ trainiert wurde.
Filter-Schwellenwert ( $g$ ): Ablationsstudien zeigten, dass kleinere $g$ -Werte kleinere Modelle (1.5B) anfänglich durch das Entfernen von zufälligem Rauschen begünstigen, während größere Modelle (3B) später im Training von höheren $g$ -Werten (z. B. 50) profitieren, was eine größere Exploration des Raums ermöglicht.
Vertikal vs. Horizontal: Die Arbeit stellt fest, dass vertikale Kollaboration (ein Knoten generiert die vollständige Gruppe für einen Prompt) der horizontalen Kollaboration (Knoten generieren Teilmengen) überlegen ist. Horizontale Kollaboration führt zu einer Verzerrung bei der Vorteilberechnung relativ zum Schwarmmittelwert, was die Leistung verschlechtert.

Bedeutung und Behauptungen

Die Arbeit positioniert F-TIS als grundlegenden Schritt hin zu dezentraler kollaborativer RL für LLMs. Die Autoren behaupten, dass ihre Arbeit zu den ersten gehört, die kollaborative RL über heterogene Modelle hinweg erfolgreich untersucht und ermöglicht.

Zu den wichtigsten Behauptungen gehören:

Durchführbarkeit: Es ist möglich, diverse Modelle gemeinsam in einem einzigen GRPO-Lauf zu trainieren, ohne den typischen Performance-Collapse, der mit off-policy-Daten verbunden ist.
Effizienz: Die Methode ist kommunikationseffizient und damit für dezentrale Systeme mit variierenden Netzwerkeinschränkungen geeignet.
Verbessertes Reasoning: Über die Übereinstimmung mit on-policy-Leistung hinaus kann die kollaborative Nutzung von off-policy-Samples als Regularisierer oder Explorations-Booster wirken und zu einer besseren Generalisierung bei Out-of-Distribution-Aufgaben führen (bis zu 12 % Verbesserung) im Vergleich zum Training von Modellen in Isolation.
Praktikabilität: Das Framework berücksichtigt reale Einschränkungen, bei denen Benutzer unterschiedliche Hardware-Fähigkeiten (Modellgrößen) und spezialisierte Bedürfnisse (Expert-Modelle oder PEFT) haben, und ermöglicht es ihnen, zu einem gemeinsamen Lernziel beizutragen, ohne eine identische Infrastruktur zu benötigen.