Resumen Técnico: GeoMin - RLVR Semi-supervisado con Eficiencia de Datos mediante el Modelado de Distribuciones Geométricas

1. Planteamiento del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) se ha convertido en un paradigma fundamental para mejorar las capacidades de razonamiento de los Modelos de Lenguaje Extensos (LLMs). Sin embargo, la escalabilidad del RLVR está severamente limitada por el "cuello de botella de la anotación": los enfoques supervisados estándar requieren anotaciones de verdad fundamental (ground-truth) costosas, mientras que las alternativas no supervisadas suelen sufrir de "colapso del modelo" debido a la dependencia de señales de auto-recompensa ruidosas (por ejemplo, votación por mayoría, entropía) que refuerzan la falsa confianza sin un fundamento fáctico.

Enfoques semi-supervisados recientes, como TraPO, intentan cerrar esta brecha utilizando un pequeño conjunto etiquetado para guiar la selección de datos no etiquetados de alta calidad. Sin embargo, estos métodos enfrentan un cuello de botella crítico en la eficiencia de datos. Dependen de heurísticas de rendimiento gruesas (por ejemplo, alinear las tasas de éxito de trayectorias individuales con los promedios colectivos), las cuales no logran contabilizar las fluctuaciones naturales en la optimización de instancias individuales. En consecuencia, estos métodos exhiben un severo "cuello de botella de recuperación" (recall bottleneck), utilizando solo una fracción minúscula (aprox. ~12.3%) de los datos no etiquetados fiables disponibles, dejando la mayor parte de las instancias valiosas infrautilizadas.

2. Metodología: GeoMin

Los autores proponen GeoMin, un marco de dos etapas que aprovecha las propiedades geométricas de las representaciones latentes para minar eficientemente datos no etiquetados de alta calidad. La idea central es que las ejecuciones (rollouts) de razonamiento correctas e incorrectas exhiben una resonancia geométrica distintiva en sus distribuciones direccionales, la cual puede ser modelada para evaluar la fiabilidad de las señales de auto-recompensa.

Concepto Central: Priores Geométricos

El método modela los estados ocultos de los LLMs (específicamente los embeddings del último token normalizados) como datos direccionales en una hiperesfera. Postula que las ejecuciones correctas e incorrectas forman cúmulos (clusters) distintos que pueden modelarse utilizando distribuciones de von Mises-Fisher (vMF).

• Resonancia Geométrica: A medida que el entrenamiento progresa, las distribuciones direccionales de las ejecuciones correctas e incorrectas se separan naturalmente. Las ejecuciones correctas no etiquetadas se alinean con la distribución "correcta" etiquetada, mientras que las incorrectas se alinean con la distribución "incorrecta".

Etapa 1: Anclaje Supervisado

Para establecer un prior geométrico robusto, GeoMin realiza primero un entrenamiento supervisado exclusivamente en un pequeño conjunto etiquetado ($D_l$).

• Modelado de Distribución: Ajusta distribuciones vMF en línea ($\mu_c, \kappa_c$) para las clases correctas ($c=1$) e incorrectas ($c=0$) a través de las capas de la red.
• Desambiguación de Frontera: El método identifica "muestras de frontera ambiguas" donde la alineación geométrica de las ejecuciones contradice su corrección (por ejemplo, una ejecución correcta que es geométricamente más cercana a la distribución incorrecta).
• Reponderación de Ventaja: Para acelerar la emergencia de la separación geométrica, las ventajas de estas muestras de frontera se amplifican durante la actualización de la Optimización de Política Relativa de Grupo (GRPO). Esto agudiza el límite de decisión en el espacio de representación.

Etapa 2: Minería de Muestras Guiada por Geometría

En la segunda etapa, el marco incorpora datos no etiquetados ($D_u$) para el entrenamiento semi-supervisado.

• Adaptación Dinámica: Las distribuciones vMF se actualizan continuamente utilizando el subconjunto etiquetado para rastrear el espacio de representación evolutivo.
• Selección de Capas Discriminativas: El método cuantifica la separabilidad por capa ($\Delta^{(l)}$) y selecciona las $K$ capas superiores con la mayor fidelidad diagnóstica para la evaluación de fiabilidad.
• Puntuación de Confianza: Para cada instancia no etiquetada, se calcula una puntuación de confianza ($s_i$) agregando las afinidades direccionales de sus ejecuciones contra las distribuciones vMF de correctas e incorrectas aprendidas.
• Filtrado Adaptativo: En lugar de usar un umbral estático, GeoMin ajusta un Modelo de Mezcla Gaussiana (GMM) al la distribución de las puntuaciones de confianza. Selecciona adaptativamente las muestras de alta confianza (aquellas que pertenecen al componente Gaussiano de media alta) para formar un conjunto de pseudo-etiquetas fiables ($B^*_u$).
• Entrenamiento: La política final se optimiza sobre la unión del conjunto etiquetado original y el conjunto filtrado de datos no etiquetados fiables.

3. Contribuciones Clave

1. Descubrimiento de la Resonancia Geométrica: El artículo identifica y formaliza el fenómeno de la "resonancia geométrica", donde la discrepancia estructural entre las ejecuciones correctas e incorrectas puede ser decodificada mediante distribuciones de características globales, proporcionando un prior robusto para evaluar la fiabilidad de las pseudo-etiquetas.
2. Marco de Dos Etapas Novedoso: GeoMin introduce un enfoque coordinado que combina el anclaje supervisado (para establecer límites discriminativos) y la minería guiada por geometría (para seleccionar adaptativamente datos no etiquetados), superando las limitaciones de recuperación de los métodos semi-supervisados previos.
3. Eficiencia de Datos: Al modelar distribuciones en lugar de depender de heurísticas de rendimiento macro, GeoMin logra una puntuación F1 del 89.0% en la identificación de muestras no etiquetadas fiables, superando significativamente la puntuación F1 del 21.4% del baseline TraPO.

4. Resultados Experimentales

Los experimentos se realizaron en el conjunto de datos Deepmath-103k utilizando Qwen3-8B-Base y otros modelos (1.5B, 8B).

• Ganancias de Rendimiento: GeoMin supera al baseline semi-supervisado más fuerte (TraPO) en un +4.1% en precisión de Dominio Interno (ID) y un +1.7% en el promedio de Dominio Externo (OOD).
• Eficiencia de Anotación: Notablemente, un GeoMin entrenado con solo el 10% de las anotaciones supera al baseline totalmente supervisado (entrenado con el 100% de los datos) en un +1.2% en el rendimiento ID, manteniendo un rendimiento competitivo en OOD.
• Escalabilidad: El método demuestra mejoras consistentes a través de diferentes escalas de modelos (1.5B a 8B) y arquitecturas (Qwen vs. Llama).
• Eficiencia: GeoMin logra una aceleración de 2.14× en el tiempo total de entrenamiento en comparación con TraPO, ya que evita las fases de calentamiento (warm-up) de múltiples épocas requeridas por los baselines de emparejamiento de trayectorias.

5. Significado y Afirmaciones

El artículo afirma que GeoMin representa un paso significativo hacia un RLVR escalable y eficiente en datos. Al cambiar el enfoque de las probabilidades de salida superficiales hacia la alineación geométrica de las representaciones latentes, el método desbloquea el potencial de vastos conjuntos de datos no etiquetados sin comprometer la estabilidad del entrenamiento.

Los autores sostienen que GeoMin elude eficazmente la barrera de la anotación, permitiendo que los modelos alcancen una generalización superior con una supervisión humana mínima. El trabajo sugiere que el "cuello de botella de recuperación" en el RLVR semi-supervisado no es inherente al paradigma, sino que surge de la dependencia de heurísticas toscas, las cuales pueden resolverse mediante un riguroso modelado de distribuciones geométricas.

Limitaciones Reconocidas:

• La validación se realizó principalmente en modelos de hasta 8B de parámetros; la eficacia en modelos fronterizos más grandes aún debe ser verificada.
• La eficiencia del método depende de la discriminabilidad geométrica inicial del modelo; los modelos con una calidad de representación inicial pobre pueden requerir un entrenamiento extendido en la Etapa 1.
• La evaluación actual se limita a razonamiento textual y simbólico; la generalización a tareas multimodales o multilingües requiere mayor investigación.