Technische Samenvatting: Single-Rollout Hidden-State Dynamics voor Training-Free RLVR Data Selectie

Probleemformulering

Het artikel adresseert de kritieke bottleneck in Versterkend Leren met Verifieerbare Beloningen (RLVR): de selectie van hoog-impact trainingsinstanties uit een grote, ongelabelde pool. Hoewel RLVR bekend staat om zijn hoge data-efficiëntie—potentieel aanzienlijke redeneerwinsten opleverend uit zeer weinig voorbeelden—is de prestatie extreem gevoelig voor welke voorbeelden worden gekozen.

Bestaande data-selectiepijplijnen vertrouwen doorgaans op:

1. Tijdens training signalen: Het uitvoeren van gedeeltelijke fine-tuning of RL over een kandidaat-pool om optimalisatiedynamiek waar te nemen (bijv. beloningstrajecten, gradiëntvariatie).
2. Afhankelijkheid van grondwahrheid: Toegang tot verifieerbare beloningen of correcte antwoorden voor de volledige kandidaat-pool om instanties te rangschikken.

Deze vereisten zijn vaak onuitvoerbaar in gespecialiseerde, low-resource domeinen (bijv. medische QA) waar annotaties kostbaar zijn en het uitvoeren van proeftraining op duizenden kandidaten computergewijs verspillend is. De auteurs formaliseren een pre-RL regime waarbij selectie moet worden uitgevoerd op een grote ongelabelde pool zonder enige grondwahrheid-labels, verifieerbare beloningen of optimalisatiesignalen tijdens training.

Methodologie: SHIFT

De auteurs stellen SHIFT voor, een eenmalige, training-free en label-free selecteur. SHIFT maakt gebruik van inference-time hidden-state dynamics om de bruikbaarheid van een instantie voor downstream RLVR te schatten zonder enige training uit te voeren.

Kernmechanisme: Redenering-Geïnduceerde Representatieverschuiving (RIRS)

De centrale hypothese is dat de interne dynamiek van een model tijdens een redeneertrace de leerpotentieel ervan codeert.

1. Single Deterministische Rollout: Voor elke kandidaat-instantie $x$ voert SHIFT een enkele deterministische redeneertrace uit met greedy decoding ($T=0$).
2. Ankerextractie: Het identificeert de hidden states aan het begin ($s(x)$) en einde ($e(x)$) van de redeneertrace (specifiek, het begin en einde van het Chain-of-Thought-segment).
3. RIRS-berekening: De Redenering-Geïnduceerde Representatieverschuiving wordt berekend als het verschil tussen deze states:
   $$\Delta(x) = e(x) - s(x)$$
   De grootte $\|\Delta(x)\|_2$ dient als een lichtgewicht proxy voor de bruikbaarheid (informativiteit) van de instantie, met de hypothese dat grotere verschuivingen wijzen op sterkere betrokkenheid van de interne berekening van het model.

Selectiealgoritme: Kwaliteit-Gewogen Farthest-First CoreSet

Om ervoor te zorgen dat de geselecteerde subset zowel van hoge kwaliteit als divers is, hanteert SHIFT een greedige selectiestrategie in een uitgebreide feature-ruimte:

1. Feature Constructie: Elke instantie wordt weergegeven door een geconcateneerde vector $\phi(x) = [s(x); \Delta(x)]$, genormaliseerd naar de eenheidssfeer. Dit vangt zowel de initiële context ($s(x)$) als de redeneertransformatie ($\Delta(x)$) op.
2. Bruikbaarheidsscore: Een bruikbaarheidsscore $\tilde{q}(x)$ wordt afgeleid uit de RIRS-grootte (log-getransformeerd voor stabiliteit).
3. Greedige Selectie:
   • Initialiseer de set $S$ met de instantie met de hoogste bruikbaarheid.
   • Selecteer iteratief de volgende instantie $x^*$ die het product maximaliseert van zijn bruikbaarheid en zijn afstand tot de huidige set:
     $$x^* = \arg\max_{x \in U \setminus S} \tilde{q}(x) \cdot \min_{x' \in S} \|\phi(x) - \phi(x')\|_2$$
     Dit balanceert informativiteit (hoge RIRS) met dekking (diversiteit in de RIRS-uitgebreide ruimte).

Belangrijkste Bijdragen

1. Probleemformulering: Definieerde het RLVR data-selectieprobleem in een strikte pre-RL setting waar geen labels, beloningen of trainingssignalen beschikbaar zijn tijdens selectie.
2. SHIFT Framework: Introduceerde een training-free selecteur gebaseerd op inference-time hidden-state dynamics, specifiek de RIRS-metriek.
3. Algoritmische Innovatie: Ontwikkelde een single-rollout, kwaliteit-gewogen farthest-first CoreSet-algoritme dat schaalt naar grote ongelabelde pools.
4. Empirische Validatie: Toonde consistente verbeteringen aan ten opzichte van training-free baselines (diversity sampling, difficulty heuristieken, uncertainty-based methoden) over wiskundig redeneren en medische QA-benchmarks onder ultra-low budgets (0,1%–4% van de data).

Experimentele Resultaten

De auteurs evalueerden SHIFT op Qwen-modellen (1.5B en 1.7B) over twee domeinen:

• Wiskundig Redeneren (MATH-500 & AMC): Onder een 2% budget bereikte SHIFT 62,67% nauwkeurigheid op MATH-500 en 38,55% op AMC (OOD), significant presterend boven Random sampling (+8,94 / +12,77) en andere baselines. Opmerkelijk is dat het de full-data RLVR-referentie overtrof op de OOD AMC-benchmark.
• Medische QA (MEDQA & Transfer): Onder een 0,1% budget bereikte SHIFT 50,35% op MEDQA, presterend boven Random (45,28%) en andere heuristieken. Het toonde bijzonder sterke transfer naar klinisch uitdagende subsets (MedXpertQA), bijna volledige prestaties bereikend met slechts 0,1% van de data.

Ablatie en Analyse

• RIRS Validiteit: Correlatieanalyse bevestigde dat RIRS niet louter een proxy is voor input/output-lengte (Spearman $\rho \approx 0$ met responslengte).
• Bruikbaarheidscorrelatie: Een pilotstudie toonde een sterke positieve correlatie (Spearman $\rho = 0,818$) tussen pre-RL RIRS-rangschikking en daadwerkelijke downstream RLVR-winst.
• Ablaties: Het verwijderen van óf de RIRS-gebaseerde dekking ($\phi_{s+\Delta}$) óf de kwaliteitsgewichtering ($\tilde{q}(x)$) verslechterde de prestaties, bevestigend dat zowel diversiteits- als bruikbaarheidssignalen complementair zijn.
• Berekenings-efficiëntie: SHIFT vereist slechts één deterministische rollout per kandidaat, waardoor het aanzienlijk goedkoper is op selectietijd dan self-consistency baselines (die ~32 stochastische rollouts vereisen).

Betekenis en Claims

Het artikel claimt dat SHIFT effectieve RLVR-adaptatie mogelijk maakt in scenario's die eerder als onuitvoerbaar werden beschouwd vanwege annotatiekosten en computerafdwingingen. Door "impactvolle" voorbeelden te identificeren via redenering-geïnduceerde hidden-state dynamics in plaats van trainingssignalen, stelt SHIFT het volgende in staat:

• Drastische reductie in annotatie- en trainings-overhead: Sterke prestaties bereiken met <1% van de data.
• Toegankelijkheid: RL-adaptatie haalbaar maken voor gespecialiseerde domeinen (bijv. geneeskunde) waar grondwahrheid-labels schaars zijn.
• Generalisatie: Transfer verbeteren naar moeilijkere, out-of-distribution evaluatiesettingen vergeleken met standaard diversiteits- of moeilijkheidsgebaseerde selectie.

De auteurs houden een bescheiden standpunt, erkennend dat RIRS een empirisch surrogaat is gemotiveerd door theoretische block-level dynamics in plaats van een formele afleiding, en dat robuustheid over bredere model-families en veiligheidsgevoelige foutstratificatie een open gebied blijft voor toekomstig werk.