IRDS: Interpretable RLVR Data Selection via Verifier-Coupled Sparse Autoencoder Coverage

Technische Samenvatting: IRDS – Interpreteerbare RLVR-dataselectie via verifier-gekoppelde dekking van een verspreide autoencoder

1. Probleemstelling

Versterkt leren met verifieerbare beloningen (RLVR) is het dominante paradigma geworden voor het verbeteren van het redeneren van grote taalmodellen (LLM), met name in de wiskunde. RLVR lijdt echter aan aanzienlijke data-inefficiëntie. Bestaande methoden voor dataselectie slagen er niet in om gelijktijdig drie kritieke eisen aan te pakken:

1. Relevantie van falen: Het selecteren van voorbeelden waarop het model momenteel faalt.
2. Trainbaarheid: Het selecteren van voorbeelden waar het model nog steeds van kan leren (d.w.z. het vermijden van de "alles-falen" en "alles-oplossen" staarten waar groepsrelatieve gradiënten verdwijnen).
3. Niet-redundantie en interpreteerbaarheid: Het selecteren van een diverse subset die verschillende zwaktes dekt zonder redundantie, terwijl het selectieproces door mensen controleerbaar blijft.

Huidige benaderingen pakken deze doorgaans geïsoleerd aan: scalaire methoden rangschikken op moeilijkheid maar negeren redundantie; diversiteitsmethodes gebruiken embeddings maar missen verifiersignalen; en gradiëntgebaseerde methoden opereren in dichte, niet-interpretabele parameterruimten.

2. Methodologie: IRDS

De auteurs stellen IRDS (Interpreteerbare RLVR-dataselectie) voor, een offline methode die een niet-redundante subset van trainingsvoorbeelden selecteert op basis van een verspreide autoencoder (SAE)-clusterbasis gekoppeld aan verifiersignalen.

A. SAE-clustercoördinaten
In plaats van oppervlaktekenmerken (zoals tokenlengte) of dichte verborgen toestanden te gebruiken, stelt IRDS voorbeelden voor met een verspreide autoencoder die is getraind op de activaties van de laatste laag van het model.

• SAE-training: Een BatchTopK SAE wordt onbewaakt getraind op een grote wiskundecorpus (OpenMathInstruct-2) met behulp van de bevroren activaties van het doelmodel. De richtingen in het woordenboek corresponderen met herkenbare concepten (bijvoorbeeld meetkunde, delertelling).
• Clustering: Om een corpusniveau-coördinaat te creëren, worden individuele verspreide latente variabelen geclusterd in $F=256$ semantische clusters met behulp van een graf-hybride representatie (het concateneren van aanwezigheids- en residurichtingen). Elk voorbeeld wordt samengevat door een vector van activatiemassa's over deze 256 clusters.

B. Verifier-gekoppelde dekkingsoptimalisatie
IRDS bouwt een metriek die moeilijkheid en trainbaarheid in balans brengt op de SAE-coördinatenruimte.

• Moeilijkheidsgewicht ($d_i$): Afgeleid van het succesaantal van de verifier ($s_i$) met behulp van een Beta-posterior. Het is hoog wanneer het model vaak faalt ($s_i$ is laag).
• Trainbaarheidsgewicht ($r_i$): Ook afgeleid van het succesaantal, piekt dit gewicht bij intermediaire successpercentages ($s_i \approx G/2$), waar de variantie van het groepsrelatieve voordeel gemaximaliseerd is. Het straft zowel de alles-falen als de alles-oplossen staarten af.
• Constructie van de metriek: De methode berekent een door moeilijkheid gewogen covariantie ($\Sigma_d$) en een door trainbaarheid gewogen covariantie ($\Sigma_r$). Vervolgens vormt het een gewitte metriek $M = (\Sigma_r + \rho I)^{-1/2} (\Sigma_d + \rho I) (\Sigma_r + \rho I)^{-1/2}$. De leidende richtingen van $M$ identificeren SAE-clusters waar de moeilijkheid de trainbaarheidsmassa overtreft.
• Ontwerpvector: Elk voorbeeld wordt afgebeeld op een ontwerpvector $\phi_i$ die de SAE-blok combineert (gewogen op trainbaarheid en de metriek $M$) en een optionele gradiëntblok (geresidualiseerd tegen de SAE-coördinaten om informatie over de update-richting vast te leggen).

C. Subselectie
Het selectieprobleem wordt geformuleerd als een D-optimale ontwerp-probleem: het vinden van een subset $S$ van grootte $K$ die de log-determinant van de Gram-matrix van ontwerpvectoren maximaliseert.
$$S^* = \arg \max_{|S|=K} \log \det \left( \lambda I + \sum_{i \in S} \phi_i \phi_i^\top \right)$$
Deze doelstelling wordt opgelost via een gulzig algoritme met Sherman-Morrison rang-één updates, wat een $(1 - 1/e)$ benaderingsgarantie biedt. Dit zorgt ervoor dat de geselecteerde subset diverse, hoogwaardige richtingen dekt zonder redundantie.

3. Belangrijkste bijdragen

1. Eerste SAE-gebaseerde RLVR-selectie: IRDS is de eerste methode voor dataselectie voor RLVR die is gebouwd op een verspreide autoencoder-clusterbasis, waardoor het selectieproces controleerbaar wordt op herkenbare probleemmotieven (bijvoorbeeld "polynoomwortel-algebra").
2. Verifier-gekoppelde dekkingsoptimalisatie: De auteurs ontwerpen een nieuwe doelstelling die gelijktijdig optimaliseert voor relevantie van falen en trainbaarheid door moeilijkheids- en trainbaarheidsgewichten op de SAE-basis te ontkoppelen, opgelost via gulzig log-determinant maximalisatie.
3. Empirische superioriteit en efficiëntie: Experimenten tonen aan dat IRDS state-of-the-art nauwkeurigheid bereikt over meerdere modellen en benchmarks, terwijl het een orde van grootte goedkoper is dan trajectgebaseerde baselines.

4. Experimentele resultaten

De methode werd geëvalueerd op drie instructie-gefineerde modellen (Qwen3-4B, Qwen3-1.7B, Llama-3.1-8B-Instruct) over zes wiskundige redeneringsbenchmarks (waaronder MATH500, AIME, AMC en OlympiadBench).

• Nauwkeurigheidswinsten: IRDS behaalde de hoogste algehele nauwkeurigheid op alle drie de modellen, en presteerde beter dan de sterkste baseline (LIMR) met +3,9 pp op Qwen3-4B, +4,0 pp op Qwen3-1.7B en +0,5 pp op Llama-3.1-8B.
• Competitie-benchmarks: Winsten waren vooral uitgesproken op kleinere, moeilijkere competitie-subsets (bijvoorbeeld +11,4 pp op AIME24 voor Qwen3-4B).
• Kostenefficiëntie: Het selectieproces voor IRDS duurde ongeveer 7 uur op een 8-GPU-knooppunt (inclusief SAE-training en scoring), terwijl de trajectgebaseerde baseline (LIMR) 70 uur vereiste (een orde van grootte meer).
• Ablatiestudies:
  • Het verwijderen van het trainbaarheidsgewicht ($r_i$) veroorzaakte een ineenstorting van de prestaties (tot -19,1 pp), wat bevestigt dat het selecteren van alleen "moeilijke" voorbeelden zonder rekening te houden met trainbaarheid schadelijk is.
  • De SAE-clusterbasis bleek kritiek, vooral voor sterkere basismodellen, en presteerde beter dan dichte gradiëntprojecties.
  • De gradiëntblok bood een marginale maar niet-redundante verbetering.
• Interpreteerbaarheid: Audits bevestigden dat de geselecteerde subsets overeenkwamen met inhoudsrichtingen met hoge moeilijkheidsgraad (bijvoorbeeld specifieke wiskundige motieven) in plaats van oppervlakteartefacten (bijvoorbeeld tokenlengte), en dat de selectie robuust was tegen labelverwarring.

5. Betekenis en claims

Het artikel stelt dat IRDS aantoont dat verifier-gekoppelde dataselectie in RLVR controleerbaar kan worden gemaakt zonder in-domein nauwkeurigheid op te offeren. Door de selectiebasis te verschuiven van ondoorzichtige dichte embeddings of oppervlaktekenmerken naar interpreteerbare SAE-clusters, kunnen onderzoekers precies verifiëren op welke "probleemmotieven" het model wordt getraind.

De auteurs positioneren IRDS als een oplossing voor de bottleneck van "data-inefficiëntie" in RLVR, en bieden een methode die:

• Controleerbaar is: Selecties kunnen worden teruggevoerd naar menselijk leesbare probleemtypen.
• Efficiënt is: Beduidend goedkoper dan online trajectgebaseerde methoden.
• Effectief is: Consistent de modelprestaties verbetert over variërende architecturen en databudgetten.

Het artikel erkent beperkingen, waarbij wordt opgemerkt dat de methode afhankelijk is van een bevroren model voor gewichtschatting (wat mogelijk kan afwijken na updates), toegang vereist tot modelactivaties voor SAE-training, en tot nu toe voornamelijk is gevalideerd op wiskundige RLVR onder het GRPO-recept.