IRDS: Interpretable RLVR Data Selection via Verifier-Coupled Sparse Autoencoder Coverage

Resumen Técnico: IRDS – Selección de Datos RLVR Interpretable mediante Cobertura de Autoencoder Esparsos Acoplada a Verificador

1. Declaración del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) se ha convertido en el paradigma dominante para mejorar el razonamiento de los Modelos de Lenguaje Grandes (LLM), particularmente en matemáticas. Sin embargo, el RLVR adolece de una ineficiencia de datos significativa. Los métodos existentes de selección de datos no logran abordar simultáneamente tres requisitos críticos:

1. Relevancia de Fallo: Seleccionar instancias en las que el modelo falla actualmente.
2. Entrenabilidad: Seleccionar instancias donde el modelo aún puede aprender (es decir, evitar las colas de "todo fallo" y "todo solución" donde los gradientes relativos al grupo se anulan).
3. No Redundancia e Interpretabilidad: Seleccionar un subconjunto diverso que cubra debilidades distintas sin redundancia, asegurando al mismo tiempo que el proceso de selección sea auditables por humanos.

Los enfoques actuales suelen abordar estos aspectos de forma aislada: los métodos escalares clasifican por dificultad pero ignoran la redundancia; los métodos de diversidad utilizan incrustaciones (embeddings) pero carecen de señales de verificador; y los métodos basados en gradientes operan en espacios de parámetros densos e ininterpretables.

2. Metodología: IRDS

Los autores proponen IRDS (Selección de Datos RLVR Interpretable), un método offline que selecciona un subconjunto no redundante de instancias de entrenamiento basado en una base de clústeres de Autoencoder Esparsos (SAE) acoplada a señales de verificador.

A. Coordenadas de Clúster SAE
En lugar de utilizar características superficiales (por ejemplo, longitud de tokens) o estados ocultos densos, IRDS representa las instancias utilizando un autoencoder esparsos entrenado sobre las activaciones de la capa final del modelo.

• Entrenamiento SAE: Un SAE BatchTopK se entrena de forma no supervisada sobre un gran corpus matemático (OpenMathInstruct-2) utilizando las activaciones congeladas del modelo objetivo. Las direcciones del diccionario corresponden a conceptos reconocibles (por ejemplo, geometría, conteo de divisores).
• Agrupamiento (Clustering): Para crear una coordenada a nivel de corpus, las latencias esparsas individuales se agrupan en $F=256$ clústeres semánticos utilizando una representación híbrida de grafos (concatenando direcciones de presencia y residuales). Cada instancia se resume mediante un vector de masas de activación a través de estos 256 clústeres.

B. Objetivo de Cobertura Acoplada al Verificador
IRDS construye una métrica que equilibra la dificultad y la entrenabilidad en el espacio de coordenadas SAE.

• Peso de Dificultad ($d_i$): Derivado del conteo de éxitos del verificador ($s_i$) utilizando una posterior Beta. Es alto cuando el modelo falla con frecuencia ($s_i$ es bajo).
• Peso de Entrenabilidad ($r_i$): También derivado del conteo de éxitos, este peso alcanza su máximo en tasas de éxito intermedias ($s_i \approx G/2$), donde la varianza de la ventaja relativa al grupo se maximiza. Reduce el peso tanto de las colas de "todo fallo" como de "todo solución".
• Construcción de la Métrica: El método calcula una covarianza ponderada por dificultad ($\Sigma_d$) y una covarianza ponderada por entrenabilidad ($\Sigma_r$). Luego forma una métrica blanqueada $M = (\Sigma_r + \rho I)^{-1/2} (\Sigma_d + \rho I) (\Sigma_r + \rho I)^{-1/2}$. Las direcciones principales de $M$ identifican los clústeres SAE donde la dificultad supera la masa de entrenabilidad.
• Vector de Diseño: Cada instancia se mapea a un vector de diseño $\phi_i$ que combina el bloque SAE (ponderado por entrenabilidad y la métrica $M$) y un bloque de gradiente opcional (residualizado contra las coordenadas SAE para capturar información de la dirección de actualización).

C. Selección de Subconjunto
El problema de selección se formula como un problema de diseño D-óptimo: encontrar un subconjunto $S$ de tamaño $K$ que maximice el logaritmo del determinante de la matriz de Gram de los vectores de diseño.
$$S^* = \arg \max_{|S|=K} \log \det \left( \lambda I + \sum_{i \in S} \phi_i \phi_i^\top \right)$$
Este objetivo se resuelve mediante un algoritmo voraz con actualizaciones de rango uno de Sherman-Morrison, proporcionando una garantía de aproximación de $(1 - 1/e)$. Esto asegura que el subconjunto seleccionado cubra direcciones diversas y de alto valor sin redundancia.

3. Contribuciones Clave

1. Primera Selección RLVR basada en SAE: IRDS es el primer método de selección de datos para RLVR construido sobre una base de clústeres de autoencoder esparsos, haciendo que el proceso de selección sea auditable en motivos de problemas reconocibles (por ejemplo, "álgebra de raíces polinómicas").
2. Objetivo de Cobertura Acoplada al Verificador: Los autores diseñan un objetivo novedoso que optimiza conjuntamente la relevancia del fallo y la entrenabilidad al desentrelazar los pesos de dificultad y entrenabilidad en la base SAE, resuelto mediante maximización voraz del logaritmo del determinante.
3. Superioridad Empírica y Eficiencia: Los experimentos demuestran que IRDS logra una precisión de vanguardia en múltiples modelos y puntos de referencia, siendo al mismo tiempo un orden de magnitud más económico que las líneas base basadas en trayectorias.

4. Resultados Experimentales

El método fue evaluado en tres modelos ajustados por instrucciones (Qwen3-4B, Qwen3-1.7B, Llama-3.1-8B-Instruct) a través de seis puntos de referencia de razonamiento matemático (incluyendo MATH500, AIME, AMC y OlympiadBench).

• Ganancias de Precisión: IRDS logró la mayor precisión general en los tres modelos, superando a la línea base más fuerte (LIMR) en +3.9 pp en Qwen3-4B, +4.0 pp en Qwen3-1.7B y +0.5 pp en Llama-3.1-8B.
• Puntos de Referencia de Competición: Las ganancias fueron particularmente pronunciadas en subconjuntos de competición más pequeños y difíciles (por ejemplo, +11.4 pp en AIME24 para Qwen3-4B).
• Eficiencia de Costos: El proceso de selección para IRDS tomó aproximadamente 7 horas en un nodo de 8 GPUs (incluyendo entrenamiento y puntuación del SAE), mientras que la línea base basada en trayectorias (LIMR) requirió 70 horas (un orden de magnitud más).
• Estudios de Ablación:
  • Eliminar el peso de entrenabilidad ($r_i$) provocó un colapso en el rendimiento (hasta -19.1 pp), confirmando que seleccionar solo instancias "difíciles" sin considerar la entrenabilidad es perjudicial.
  • Se encontró que la base de clústeres SAE era crítica, especialmente para modelos base más fuertes, superando a las proyecciones de gradientes densos.
  • El bloque de gradiente proporcionó una mejora marginal pero no redundante.
• Interpretabilidad: Las auditorías confirmaron que los subconjuntos seleccionados se alineaban con direcciones de contenido de alta dificultad (por ejemplo, motivos matemáticos específicos) en lugar de artefactos superficiales (por ejemplo, longitud de tokens), y que la selección era robusta ante la mezcla de etiquetas.

5. Significado y Afirmaciones

El artículo afirma que IRDS demuestra que la selección de datos acoplada a verificadores en RLVR puede hacerse auditable sin sacrificar la precisión en el dominio. Al cambiar la base de selección de incrustaciones densas opacas o características superficiales a clústeres SAE interpretables, los investigadores pueden verificar exactamente qué "motivos de problemas" se están utilizando para entrenar el modelo.

Los autores posicionan a IRDS como una solución al cuello de botella de la "ineficiencia de datos" en RLVR, ofreciendo un método que es:

• Auditable: Las selecciones pueden rastrearse hasta tipos de problemas legibles por humanos.
• Eficiente: Significativamente más barato que los métodos online basados en trayectorias.
• Efectivo: Mejora consistentemente el rendimiento del modelo en diversas arquitecturas y presupuestos de datos.

El artículo reconoce limitaciones, señalando que el método depende de un modelo congelado para la estimación de pesos (potencialmente desviándose después de las actualizaciones), requiere acceso a las activaciones del modelo para el entrenamiento del SAE, y actualmente ha sido validado principalmente en RLVR matemático bajo la receta GRPO.