🤖 machine learning

Hierarchical Data Selection via Manifold Coverage and Sparse Feature Coverage in LLM Post-training

El artículo propone MASS, un marco de selección de datos jerárquico que mejora la eficiencia y el rendimiento del post-entrenamiento de los LLM al agrupar primero los datos mediante la cobertura de variedades de baja dimensión y luego seleccionar subconjuntos de alta calidad a través de la cobertura de características dispersas, superando consistentemente a las líneas base existentes y a menudo igualando el entrenamiento con datos completos con conjuntos de datos significativamente más pequeños.

Autores originales: Peng Sun, Yi Yang, Antong Zhang, Chunxiao Li, Yanbo Wang, Dianbo Liu, xin chen, Kai Yu, Lu Chen, Tianfan Fu

Publicado 2026-08-19

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Peng Sun, Yi Yang, Antong Zhang, Chunxiao Li, Yanbo Wang, Dianbo Liu, xin chen, Kai Yu, Lu Chen, Tianfan Fu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, que evoluciona rápidamente, ha surgido un desafío persistente a medida que los modelos crecen en tamaño y capacidad: el enorme volumen de datos necesarios para enseñarlos. Para aprender de manera efectiva, estos sistemas necesitan vastas bibliotecas de ejemplos, pero recopilar y procesar esta información es costoso y requiere mucho tiempo. Los investigadores han buscado durante mucho tiempo una forma de identificar las piezas de información más valiosas dentro de estas colecciones masivas, con la esperanza de entrenar modelos potentes utilizando solo una pequeña fracción de alta calidad de los datos disponibles. La idea predominante era que, si se podía medir qué tan diferentes son dos piezas de datos entre sí, se podría elegir un conjunto diverso que cubriera todo el terreno necesario. Sin embargo, este enfoque solía tropezar porque los espacios matemáticos utilizados para medir estas diferencias estaban demasiado congestionados y ruidosos, mezclando temas amplios con detalles irrelevantes y diminutos, además de errores aleatorios.

Un equipo de investigadores ha propuesto ahora una nueva forma de resolver este problema, tratando la selección de datos de entrenamiento no como una búsqueda plana, sino como un proceso de descubrimiento por capas. Argumentan que, para encontrar los mejores datos, primero se debe comprender el paisaje general de la información y luego profundizar en los detalles específicos y finos que importan. Al construir un sistema que primero agrupa los datos por sus temas principales y luego selecciona cuidadosamente muestras para cubrir las variaciones sutiles dentro de esos temas, han creado un método que supera consistentemente las técnicas existentes. En pruebas que involucran tareas visuales y de razonamiento complejas, este nuevo enfoque permitió que modelos entrenados con solo una mínima fracción de los datos se desempeñaran tan bien como, o incluso mejor que, modelos entrenados con el conjunto de datos completo.

El equipo de investigadores, liderado por Peng Sun y colegas de varias universidades, desarrolló un método que llaman MASS, que significa Manifold Aware Sparse Selection (Selección Dispersa Consciente del Manifold). Para entender por qué esto es necesario, imagine que intenta organizar una biblioteca masiva donde cada libro está descrito por una única lista increíblemente larga de palabras clave. Si intenta encontrar libros similares comparando estas listas directamente, podría terminar agrupando un libro sobre un gato con un libro sobre un coche simplemente porque ambas listas resultan contener la palabra "rápido", aunque los temas sean completamente diferentes. Las listas originales están demasiado saturadas de detalles menores y ruido para mostrar la verdadera estructura de la biblioteca. El equipo se dio cuenta de que los datos utilizados para entrenar los modelos de IA modernos se comportan de manera similar; las representaciones matemáticas de estos puntos de datos son tan de alta dimensión y complejas que las comparaciones simples fallan al capturar sus verdaderas relaciones.

Para solucionar esto, el equipo diseñó un proceso de dos pasos que imita cómo un humano podría explorar un territorio nuevo. Primero, utilizan una herramienta llamada autoencoder denso para comprimir los datos complejos en una forma más simple y de menor dimensión. Piense en esto como tomar un mapa tridimensional de alta resolución de una cadena montañosa y aplanarlo en un mapa topográfico bidimensional claro que muestra los principales pcos y valles sin el desorden de cada roca y arbusto. Este paso permite al sistema identificar los grupos semánticos amplios y principales dentro de los datos, clasificando efectivamente la biblioteca en secciones distintas como "ciencia", "historia" y "ficción" basándose en los temas dominantes. Este agrupamiento grueso asegura que los datos seleccionados cubran las regiones principales del espacio del conocimiento.

Una vez que los datos están organizados en estos grupos amplios, comienza el segundo paso. Aquí, los investigadores utilizan una herramienta diferente, un autoencoder disperso (sparse autoencoder), para buscar los detalles específicos y finos dentro de cada grupo. Mientras que el primer paso se ocupó del panorama general, este paso se enfoca en las características únicas que distinguen un ejemplo de otro dentro de la misma categoría. Es como caminar por la sección de "ciencia" de la biblioteca y asegurarse de que los libros seleccionados cubran no solo la física general, sino también subtemas específicos como la mecánica cuántica, la astrofísica y la termodinámica, en lugar de elegir cinco libros que traten todos sobre el mismo tema estrecho. Esta herramienta está diseñada para seleccionar solo las características más importantes, ignorando el ruido y la redundancia que suelen confundir a otros métodos.

Los investigadores probaron este enfoque en dos conjuntos de datos desafiantes: uno centrado en instrucciones visuales generales y otro en tareas de razonamiento complejo que involucran imágenes y texto. Compararon su método contra otras nueve técnicas populares de selección de datos, incluyendo la selección aleatoria y métodos basados en puntuaciones de similitud o importancia. Los resultados fueron sorprendentes. A través de diferentes cantidades de datos, que iban desde el cinco por ciento hasta el quince por ciento del total, el método MASS produjo consistentemente modelos que funcionaron mejor que cualquier otra estrategia de selección. En varios casos, los modelos entrenados con el subconjunto seleccionado por MASS superaron el rendimiento de los modelos entrenados con el conjunto de datos completo, logrando una mayor precisión en las evaluaciones de comprensión visual y razonamiento lógico.

El estudio también incluyó una serie de verificaciones cuidadosas para entender por qué el método funcionaba tan bien. Los investigadores encontraron que saltarse el primer paso e intentar agrupar los datos directamente desde las representaciones originales y complejas conducía a resultados peores, confirmando que la compresión inicial era esencial para encontrar la estructura correcta. Del mismo modo, usar solo el segundo paso sin el agrupamiento inicial fallaba en capturar la amplitud total de los datos. La combinación de ambos pasos fue crucial, siendo el primero el que proporcionaba un marco estable y el segundo el que aseguraba una cobertura rica y detallada. También descubrieron que el sistema era robusto ante cambios en las herramientas específicas utilizadas para el análisis, funcionando bien incluso cuando se empleaban diferentes tipos de representaciones de datos.

Uno de los conocimientos clave del trabajo es que la calidad de los datos importa tanto como su diversidad. El sistema MASS incorpora una puntuación de calidad, lo que le permite evitar la selección de ejemplos de baja calidad incluso si son únicos. Esto asegura que el subconjunto final sea no solo diverso, sino también fiable. Los investigadores señalaron que, si bien su método requiere cierto esfuerzo computacional inicial para configurar el agrupamiento y la extracción de características, este costo es pequeño comparado con los ahorros obtenidos al entrenar con un conjunto de datos mucho más pequeño. El tiempo dedicado a preparar los datos es una inversión de una sola vez que rinde frutos al reducir los enormes recursos que usualmente se necesitan para el entrenamiento a gran escala.

En última instancia, este trabajo sugiere un cambio fundamental en la forma en que pensamos sobre la enseñanza de la inteligencia artificial. En lugar de asumir que más datos siempre son mejores, o que simplemente elegir ejemplos diversos es suficiente, los investigadores demuestran que la estructura de los datos mismos contiene la clave. Al respetar la jerarquía natural de la información —primero comprendiendo el paisaje general y luego completando los detalles específicos—, los modelos de IA pueden aprender de manera más eficiente. Los hallazgos ofrecen un camino práctico para los desarrolladores que necesitan entrenar sistemas potentes sin tener acceso a una potencia de cómputo infinita o a flujos interminables de datos, demostando que, con la estrategia de selección adecuada, un poco de datos puede, de hecho, llegar muy lejos.

Resumen Técnico: Selección Jerárquica de Datos mediante Cobertura de Variedades y Cobertura de Características Dispersas en el Post-entrenamiento de LLM

Formulación del Problema

A medida que la escala de los datos de ajuste fino supervisado (SFT) para los modelos de lenguaje de gran tamaño (LLM) y los modelos de visión-lenguaje continúa creciendo, la selección de subconjuntos de alto valor a partir de enormes pools de candidatos se ha vuelto crítica para reducir los costes de entrenamiento manteniendo o mejorando el rendimiento del modelo. Los métodos de selección de datos existentes suelen depender de la medición de la diversidad directamente dentro del espacio de embeddings original de alta dimensión. Sin embargo, este enfoque sufre una limitación fundamental: las métricas geométricas en el espacio de embeddings bruto suelen entrelazar direcciones semánticas dominantes, diferencias de supervisión de grano fino y ruido local.

Los autores observan que, para los datos de instrucciones complejas, el espacio de embeddings original exhibe una complejidad lineal global alta (requiriendo cientos de componentes de PCA para explicar la varianza) pero posee una dimensionalidad efectiva mucho menor en vecindarios locales. Esto sugiere que las distribuciones de datos se caracterizan mejor como variedades no lineales globalmente complejas pero localmente de baja dimensión. En consecuencia, realizar una medición de diversidad plana en el espacio original mezcla la estructura semántica global, las diferencias de grano fino y las perturbaciones irrelevantes para la tarea en un único criterio de selección, lo que conduce a una selección de subconjuntos subóptima.

Metodología: MASS

Para abordar estas limitaciones, el artículo propone MASS (Manifold Aware Sparse Selection - Selección Dispersa Consciente de la Variedad), un método que reformula la selección de datos como un problema de cobertura jerárquica de grueso a fino. La hipótesis central es que un subconjunto seleccionado debe preservar primero la cobertura sobre las regiones principales de la variedad semántica (grano grueso) y luego cubrir las características de supervisión de grano fino dentro de cada región (grano fino).

El pipeline de MASS consta de tres etapas principales:

Codificación de Doble Vista (Dual View Encoding):
Para cada muestra candidata $z_i = (q_i, a_i)$ (entrada y respuesta), se construyen dos embeddings utilizando un modelo de embedding congelado:
- Embedding de Condición ( $e^c_i$ ): Codifica únicamente la entrada $q_i$ . Se utiliza para aprender la estructura principal de la variedad.
- Embedding de Supervisión ( $e^s_i$ ): Codifica el par concatenado $(q_i, a_i)$ . Captura la señal de supervisión completa y se utiliza para la extracción de características de grano fino.
Agrupación de Grano Grueso mediante Autoencoder Denso (DAE):
Se entrena un Autoencoder Denso sobre los embeddings de condición para aprender coordenadas de la variedad principal estables y de baja dimensión.
- Entrenamiento: El DAE se entrena con una estrategia de perturbación (añadiendo ruido esférico a las entradas) para asegurar la robustez. Comprime las entradas de alta dimensión en un espacio latente de baja dimensión (establecido en 32 dimensiones en los experimentos principales).
- Agrupación: Las coordenadas latentes aprendidas se utilizan para agrupar los datos (por ejemplo, mediante K-Means) en grupos semánticos de grano grueso. Este paso tiene como objetivo capturar las direcciones semánticas dominantes mientras se suprimen las dimensiones redundantes y el ruido local.
Selección de Grano Fino mediante Autoencoder Disperso TopK (SAE):
Dentro de cada grupo de grano grueso, se emplea un Autoencoder Disperso TopK para extraer características de supervisión dispersas de los embeddings de supervisión.
- Extracción de Características: El SAE mapea las entradas a un espacio de características sobrecompleto, aplica ReLU y retiene solo las $K$ activaciones superiores (por ejemplo, $K=64$ de 131.072 características).
- Selección Voraz (Greedy Selection): Las muestras se seleccionan secuencialmente dentro de cada grupo. La puntuación de selección combina dos factores:
  - Ganancia de Cobertura SAE: Una métrica que mide cuántas nuevas características dispersas cubre una muestra candidata en relación con el subconjunto seleccionado actualmente, normalizada por la magnitud de la activación de la característica.
  - Puntuación de Calidad ( $\eta_i$ ): Una puntuación de calidad externa (por ejemplo, de un modelo multimodal ligero) para evitar seleccionar muestras de baja calidad meramente por diversidad.
- El algoritmo selecciona vorazmente la muestra con la puntuación combinada más alta hasta que se completa el presupuesto del grupo.

Principales Contribuciones

El artículo detalla tres contribuciones primarias:

Reformulación del Problema: Los autores reformulan la selección de datos SFT como un problema de cobertura jerárquica, separando explícitamente la cobertura de la variedad principal de grano grueso de la cobertura de características de supervisión de grano fino.
Marco de Trabajo MASS: Proponen el algoritmo MASS, que integra un Autoencoder Denso (DAE) para construir grupos de variedades principales estables y un Autoencoder Disperso TopK (SAE) para la cobertura de características dispersas dentro de cada grupo, aumentado por señales de calidad externas.
Validación Empírica: El método se valida en múltiples conjuntos de datos (Vision-Flan, LLaVA-CoT), presupuestos de datos (5%, 10%, 15%), fuentes de embedding y modelos objetivo, demostrando una efectividad y robustez consistentes.

Resultados Experimentales

Los autores evaluaron MASS en Vision-Flan (tareas de instrucción general) y LLaVA-CoT (tareas de razonamiento) utilizando modelos objetivo como LLaVA-V1.5-7B y Llama-3.2-11B-Vision-Instruct.

Rendimiento: MASS superó consistentemente a nueve baselines fuertes (incluyendo Random, XMAS, COINCIDE, SemDeDup, PRISM y EL2N) en todos los presupuestos de datos.
Superando al Dato Completo: En varios entornos, MASS logró un rendimiento que igualó o superó el entrenamiento con el total de los datos utilizando solo un pequeño subconjunto (por ejemplo, en Vision-Flan con un presupuesto del 10%, MASS alcanzó un Rendimiento Relativo Promedio (ARP) de 102.12, excediendo la línea base de datos completo de 100.00).
Estudios de Ablación:
- DAE vs. Embeddings Brutos: Reemplazar la agrupación DAE con la agrupación de embeddings brutos resultó en un rendimiento inferior (101.59 vs. 102.12 ARP), confirmando que las coordenadas de la variedad principal proporcionan una agrupación de grano grueso más fiable.
- Complementariedad: El uso exclusivo de DAE (agrupación de grano grueso) o solo de SAE (cobertura de grano fino) produjo resultados inferiores a los del enfoque combinado, demostrando que ambos componentes son complementarios.
- Sensibilidad de Configuración: Aunque se utilizaron 32 dimensiones en los experimentos principales, el análisis de sensibilidad reveló que una dimensión latente de 64 alcanzó el mejor ARP (102.71), lo que sugiere que una dimensión de compresión moderada equilibra mejor la preservación de la estructura y la supresión de ruido. Además, una dispersión TopK de 64 arrojó resultados óptimos. Las dimensiones de características SAE más grandes (131.072 frente a 65.536) mejoraron el rendimiento, indicando la necesidad de una capacidad de características suficiente.
- Señales de Calidad: Eliminar las puntuaciones de calidad redujo significativamente el rendimiento, mientras que cambiar el modelo de puntuación produjo mejoras consistentes, mostrando la robustez de la integración de la señal de calidad.
- Robustez: MASS mantuvo un rendimiento superior sobre la selección aleatoria a través de diferentes escalas y familias de modelos objetivo (por ejemplo, LLaVA-13B y Qwen2-VL-2B).

Significado y Limitaciones

Significado:
El artículo afirma que MASS proporciona un nuevo paradigma para la selección de datos basada en embeddings. Al reconocer que los datos de instrucciones complejos residen en variedades no lineales con dimensiones locales variables, MASS evita las trampas de la selección geométrica plana. Demuestra que un enfoque jerárquico —preservar la estructura de la variedad global mientras se asegura la diversidad de características de grano fino— conduce a una selección de datos más eficiente y efectiva, superando a menudo el entrenamiento con el total de los datos utilizando significativamente menos muestras.

Limitaciones:
Los autores reconocen modestamente varias limitaciones:

Dependencia de Señales Externas: MASS depende de fuentes de embedding externas y modelos de puntuación de calidad. Si estas señales están severamente sesgadas, el subconjunto seleccionado puede verse afectado.
Restricciones del Pool de Candidatos: El método opera dentro de un pool de candidatos dado. Si el pool carece de ciertos tipos de tareas o patrones de supervisión, MASS no puede compensar estas brechas distributivas fundamentales.
Selección Orientada a Tareas: El trabajo actual se centra en seleccionar subconjuntos de colecciones de datos generales para SFT. No aborda cómo seleccionar subconjuntos específicamente para distintas tareas descendentes, dejando esto como un área para la exploración futura.