🤖 machine learning

Epiplexity Guided Data Selection and Generation for Out-of-Distribution Generalization

Este artículo propone un marco para mejorar la generalización fuera de la distribución al operacionalizar la epiplexidad —una medida de la información estructural extraíble— como una señal adaptativa tanto para seleccionar dominios de datos naturales como para guiar la generación de datos sintéticos con el fin de maximizar la transferibilidad de las representaciones aprendidas.

Autores originales: Ellen Su, Andres Potapczynski, Shikai Qiu, Edward Hughes, Andrew Gordon Wilson

Publicado 2026-08-13

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ellen Su, Andres Potapczynski, Shikai Qiu, Edward Hughes, Andrew Gordon Wilson

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a entender el mundo. Durante mucho tiempo, los científicos pensaron que la mejor manera de hacer esto era alimentar al robot con la mayor cantidad de datos posible, esperando que eventualmente lo descifrara por su cuenta. Pero ahora, nos estamos quedando sin datos "reales" para alimentar a estas máquinas. Estamos chocando contra un muro donde el robot ha leído casi todo lo que hay en internet, pero aun así tiene dificultades cuando se le pide que haga algo que no ha visto antes, como resolver un nuevo tipo de rompecabezas o entender un chiste extraño. Este es el problema de la generalización fuera de la distribución (Out-of-Distribution): ¿cómo creamos un sistema inteligente que funcione en situaciones nuevas e imprevistas?

Para resolver esto, necesitamos replantearnos qué le damos de comer al robot. No se trata solo de cantidad; se trata del "sabor" de la información. Piensa en los datos como si fueran comida. Si alimentas a un robot solo con arroz blanco simple (datos sencillos y repetitivos), se llena pero no aprende nada nuevo. Si lo alimentas solo con ruido puro (estática de radio), se confunde y no aprende nada. Pero si le das un estofado complejo y delicioso con capas de sabor que tiene que masticar y digerir, aprende cómo procesar los ingredientes. En el mundo de la inteligencia artificial, esta "complejidad digerible" se llama epiplexidad. Es una palabra elegante para referirse a la cantidad de información estructural útil de la que una computadora realmente puede aprender de un fragmento de datos. La gran pregunta que se hacen los investigadores es: ¿Podemos usar esta idea de la "complejidad digerible" para elegir los mejores datos para enseñar a nuestros robots, o incluso para inventar nuevos datos que los hagan más inteligentes?

Este artículo, titulado "Selección y Generación de Datos Guiada por la Epiplexidad para la Generalización Fuera de la Distribución", dice que sí. Los autores, un equipo de la Universidad de Nueva York e Inherent, proponen una nueva forma de entrenar modelos de IA centrándose en esta "epiplexidad". Sugieren que, en lugar de simplemente agarrar trozos aleatorios de texto de internet, deberíamos elegir activamente datos que desafíen al modelo lo suficiente como para hacerlo trabajar duro, pero no tanto como para que se rinda. Probaron dos ideas principales: primero, un método para seleccionar los mejores datos existentes, y segundo, un método para generar datos sintéticos completamente nuevos que estén perfectamente diseñados para enseñar al modelo.

Así es como funciona su sistema de "Epiplexidad", explicado a través de algunas historias sencillas:

La "Prueba de Estrés" para la Selección de Datos (EpiSelect)

Imagina que eres un profesor preparando una guía de estudio para un estudiante que necesita aprobar un examen muy difícil y desconocido. Tienes una biblioteca llena de libros: algunos son libros de cuentos fáciles, otros son listas aburridas de números y otros son novelas complejas llenas de ideas profundas.

Los autores descubrieron que si eliges libros al azar, el estudiante podría aburrirse o sentirse abrumado. Pero, ¿y si pudieras medir exactamente cuánto crece el cerebro del estudiante después de leer una página específica? Llaman a este crecimiento "epiplexidad". Una página de texto repetitivo (como "el gato se sentó en el gato se sentó") tiene una epiplexidad baja porque el estudiante la aprende instantáneamente y pasa a otra cosa. Una página de jerga aleatoria tiene una epiplexidad baja porque el estudiante no puede aprender nada de ella. Pero una historia compleja que hace que el estudiante se detenga, piense y comprenda lentamente la trama, tiene una epiplexidad alta.

El equipo creó una herramienta llamada EpiSelect que actúa como un bibliotecario superinteligente. Mientras el estudiante (el modelo de IA) lee, EpiSelect observa qué tan rápido disminuye la "pérdida" del estudiante (una medida de qué tan confundido está). Si el estudiante se está confundiendo pero lo está descifrando lentamente, ¡ese es el punto ideal! EpiSelect entonces dice: "¡Oye, leamos más libros como este!". Utiliza una "ley de escala" matemática (una forma elegante de predecir el futuro basándose en el pasado) para adivinar qué tipos de libros darán el mayor impulso cerebral a continuación.

Cuando probaron esto, encontraron algo sorprendente. En un conjunto de datos popular llamado "The Pile", la mejor estrategia fue simplemente leer el trozo más grande de datos (llamado PileCC) una y otra vez, lo que superó a todos los demás métodos sofisticados. Esto sugirió que "The Pile" no era una buena prueba porque un tipo de datos era tan dominante que arruinó el experimento. Así que pasaron a un nuevo conjunto de datos llamado "Common Pile", que tiene una mezcla más equilibrada de 30 tipos diferentes de texto. En esta nueva prueba, EpiSelect brilló. Seleccionó una mezcla de datos que hizo que el modelo de IA funcionara mejor en 10 tareas difíciles que cualquier otro método, incluyendo el estado del arte actual. El artículo sugiere que, al centrarse en los datos que crean la mayor "epiplexidad", el modelo aprende patrones que le ayudan a manejar situaciones nuevas y no vistas mucho mejor.

El "Chef Robot" Creando Nuevas Recetas (EpiGen)

Ahora, imagina que no solo quieres elegir los mejores libros de la biblioteca, sino que quieres escribir nuevos libros que estén perfectamente diseñados para enseñar al estudiante. Aquí es donde entra la segunda parte del artículo: EpiGen.

Los autores construyeron un "Chef Robot" (un modelo generador) cuyo trabajo es cocinar nuevo texto sintético. Pero, ¿cómo sabe el chef qué cocinar? Normalmente, los chefs podrían simplemente intentar hacer comida que sepa bien (error bajo) o comida que sea muy diferente a la que han hecho antes. Pero los autores se dieron cuenta de que la mejor comida para aprender es aquella que es desafiante pero que aún es comestible.

Le dieron al Chef Robot un sistema de recompensa especial. Cada vez que el Chef cocinaba un lote de nuevo texto, se lo daban al Estudiante (el modelo aprendiz). Si el Estudiante tenía dificultades pero luego aprendía algo nuevo y mejoraba su comprensión, el Chef recibía una gran recompensa. Si el texto era demasiado fácil (el Estudiante ya lo sabía) o demasiado difícil (el Estudiante no podía entenderlo en absoluto), el Chef no recibía recompensa.

Utilizando una técnica llamada REINFORCE (que es como un entrenador dando retroalimentación a un atleta), el Chef aprendió a cocinar datos "Goldilocks": ni muy calientes, ni muy fríos, sino justo en el punto. Los resultados fueron emocionantes. Cuando entrenaron un modelo con estos datos sintéticos especialmente generados, el modelo mejoró su comprensión de las tareas de lenguaje (como el benchmark GLUE) más que un modelo entrenado con los datos originales con los que comenzó. Mejor aún, cuando mezclaron estos nuevos datos sintéticos con datos reales, el modelo funcionó incluso mejor que usando cualquiera de los dos por separado.

Qué Significa Esto para el Futuro

El artículo no pretende haber resuelto todos los problemas de la IA. Los autores señalan cuidadosamente que probaron esto en modelos relativamente pequeños y que su método depende de un "proxy" (una buena suposición) para la epiplexidad, en lugar de medir el valor teórico perfecto. También encontraron que este método funciona mejor cuando la IA comienza con algún conocimiento preexistente (como un modelo preentrenado) en lugar de comenzar desde cero con pesos aleatorios.

Sin embargo, la idea central es un cambio de perspectiva poderoso. En lugar de tratar los datos como una pila gigante de combustible para ser quemada, los autores sugieren que debemos tratar los datos como un currículo. Al medir y maximizar la epiplexidad —la cantidad de información estructural que un modelo realmente puede extraer—, podemos construir una IA que no sea solo grande, sino verdaderamente adaptable. Ya sea seleccionando los mejores datos existentes o inventando nuevos datos sintéticos, el objetivo es el mismo: alimentar al modelo con desafíos que lo hagan pensar, aprender y crecer de maneras que le ayuden a tener éxito en un mundo que aún no hemos imaginado.

Resumen Técnico: Selección y Generación de Datos Guiada por la Epiplexidad para la Generalización Fuera de la Distribución

Declaración del Problema

Los sistemas modernos de aprendizaje automático enfrentan una presión creciente para generalizar a tareas y dominios no especificados durante el entrenamiento (generalización fuera de la distribución o OOD). A medida que el campo entra en un régimen de datos limitados donde el entrenamiento de múltiples épocas es necesario, identificar qué datos facilitan esta transferencia es crítico. Los métodos existentes de selección de datos y aprendizaje de currículo a menudo dependen de nociones vagamente definidas de cantidad, diversidad y calidad. Además, los enfoques actuales luchan por razonar sobre las propiedades deseables de los datos para entornos descendentes imprevistos.

Existe una brecha teórica clave sobre cómo operacionalizar la epiplexidad —una medida de la información estructural que un aprendiz con capacidad de cómputo limitada puede extraer de los datos— como una señal de entrenamiento práctica. Si bien Finzi et al. [20] propusieron la epiplexidad como una medida donde los valores altos corresponden a datos que son aprendibles pero no triviales (disminución sostenida de la pérdida), no está claro cómo estimar esta métrica en línea, usarla para la selección de datos adaptativa o aprovecharla para la generación de datos puramente sintéticos.

Metodología

El artículo propone dos marcos distintos para operacionalizar la epiplexidad: EpiSelect para la selección de datos y EpiGen para la generación de datos sintéticos. Ambos dependen de un estimador de epiplexidad tratable y en línea derivado del área bajo la curva de pérdida de entrenamiento (codificación prequencial).

1. Estimación de la Epiplexidad

Los autores utilizan un estimador prequencial donde la epiplexidad $S(t)$ se aproxima mediante la brecha acumulada entre la pérdida incurrida en un token en el momento de su entrenamiento y la pérdida incurrida en ese mismo token por el modelo final. En la práctica, para la optimización en línea, esto se aproxima mediante la diferencia entre la pérdida de entrenamiento actual y el suelo de la pérdida final (o actual).
$\hat{S}(t) \approx \sum_{s=1}^{t} (L(s) - L(t))$
Los datos con alta epiplexidad producen disminuciones de pérdida sustanciales y sostenidas, mientras que los datos triviales (convergencia rápida) o el ruido (sin convergencia) producen una baja epiplexidad.

2. EpiSelect: Selección de Datos Adaptativa

EpiSelect tiene como objetivo muestrear de forma adaptativa lotes de múltiples dominios de datos para maximizar la ganancia esperada de epiplexidad.

Leyes de Escalamiento Cross-Domain: El método ajusta leyes de escalamiento a las curvas de pérdida por dominio para predecir la pérdida futura como una función de los conteos de tokens de todos los dominios. La forma propuesta es:
$\hat{L}_m(n_1, \dots, n_K) = \epsilon_m + \beta_m \left( \sum_{k=1}^K \gamma_{m,k} n_k \right)^{-\alpha_m}$
donde $\gamma_{m,k}$ captura la influencia del dominio $k$ en la pérdida del dominio $m$ .
Reponderación Basada en Gradientes: El algoritmo calcula la ganancia marginal de epiplexidad con respecto a los tokens de un dominio específico $j$ :
$\frac{\partial \hat{S}}{\partial n_k} = \sum_{m=1}^K \frac{n_m \alpha_m \gamma_{m,k}}{\sum_{i=1}^K \gamma_{m,i} n_i} (\hat{L}_m - \epsilon_m)$
Estrategia de Muestreo: Los pesos de muestreo $\pi_k$ para el siguiente lote se determinan mediante un softmax sobre estas ganancias marginales, lo que permite al modelo seleccionar de forma codiciosa los dominios que se predice que generarán la mayor ganancia de información estructural.

3. EpiGen: Generación de Datos Sintéticos

EpiGen entrena un modelo generador ( $P_{\theta_g}$ ) para producir datos sintéticos que maximicen la epiplexidad de un modelo aprendiz separado ( $P_{\theta}$ ).

Definición de Recompensa: La recompensa $r_t$ se define como el cambio en la epiplexidad del aprendiz (aproximado por la reducción en la pérdida) después de entrenar en un nuevo lote $X_t$ , evaluado sobre un búfer de generación $B$ que contiene datos pasados:
$r_t = \sum_{x \in B} (\log(1/P_{\theta_{t-1}}(x)) - \log(1/P_{\theta_t}(x)))$
Optimización: El generador se optimiza utilizando gradientes de política REINFORCE para maximizar la recompensa esperada. El búfer $B$ sirve como una distribución de referencia para evitar que el generador colapse en salidas adversarias o de baja entropía que el aprendiz memoriza sin ganar estructura generalizable.

Contribuciones Clave

Operacionalización de la Epiplexidad: El artículo proporciona los primeros métodos prácticos para estimar y optimizar la epiplexidad como una señal de entrenamiento en línea tanto para la selección de datos como para la generación de datos sintéticos.
Algoritmo EpiSelect: Un nuevo método de selección de datos que utiliza leyes de escalamiento cross-domain para predecir las ganancias de epiplexidad y reponderar adaptativamente el muestreo de dominios.
Algoritmo EpiGen: Un marco de auto-juego donde un generador es entrenado vía REINFORCE para producir datos que desafíen a un aprendiz, maximizando la ganancia de información estructural sin verificadores externos.
Crítica y Propuesta de Benchmarks: Los autores identifican un problema de saturación en el conjunto de datos "The Pile" para evaluar métodos de selección de datos, señalando que entrenar únicamente en el dominio más grande (PileCC) supera a los métodos de selección sofisticados. Proponen el Common Pile (un conjunto de datos de 30 dominios y 8TB) como un benchmark más riguroso para la investigación futura de aprendizaje de currículo.
Validación Empírica: Demostración de que una mayor epiplexidad se correlaciona con una mejor generalización OOD y que las estrategias de maximización de epiplexidad superan a las líneas base de vanguardia.

Resultados

Selección de Datos (EpiSelect)

Correlación: En "The Pile", la epiplexidad se correlaciona fuertemente con el rendimiento zero-shot descendente (Pearson $r=0.88$ ), mientras que las normas de los pesos no lo hacen.
Limitación del Benchmark: Entrenar exclusivamente en el dominio PileCC superó al selector ADO de vanguardia en The Pile, resaltando el desequilibrio del conjunto de datos.
Desempeño en Common Pile: Al ser evaluado en el Common Pile, EpiSelect logró la mayor precisión promedio zero-shot en 10 tareas (LM Evaluation Harness) tanto para modelos de 124M como de 1.3B de parámetros, superando tanto a la línea base natural (uniforme) como a ADO.
Dinámicas Cross-Domain: Las leyes de escalamiento ajustadas revelaron que los efectos cross-domain son dispersos y direccionales, con los términos diagonales (auto-influencia) dominando.

Generación de Datos Sintéticos (EpiGen)

Desempeño de Ajuste Fino (Fine-Tuning): Los aprendices entrenados en datos sintéticos generados por EpiGen lograron una mejora promedio de 2.7 puntos en las tareas de ajuste fino de GLUE en comparación con la línea base de GPT-2 preentrenado.
Dependencia de la Inicialización: El método requiere una inicialización preentrenada; la inicialización aleatoria no produjo ganancia de rendimiento, lo que sugiere que la señal de aprendizaje emerge de los pesos preentrenados.
Mezcla de Datos: Mezclar entre el 25% y 50% de datos sintéticos guiados por la epiplexidad con datos reales de OpenWebText (OWT) produjo el mejor desempeño descendente, superando el entrenamiento en un solo tipo de datos.
Estabilidad: El método mantuvo una baja perplejidad en los datos in-distribución mientras mejoraba la generalización OOD, evitando el colapso de modo que se observa frecuentemente en la generación basada en recompensas.

Significado y Reivindicaciones

El artículo sostiene que la epiplexidad ofrece una base informacional y teórica para la selección y generación de datos que apunta directamente a la generalización OOD. Al cambiar el enfoque de la "explicación más simple" (Navaja de Occam) a la "información más incompresible" (maximizar la información estructural), los autores argumentan que los modelos pueden aprender representaciones que son más transferibles a través de dominios imprevistos.

Los autores señalan modestamente que sus experimentos se realizan en modelos pequeños (124M–1.3B de parámetros) y dependen de un proxy tratable de la epiplexidad en lugar de la cantidad teórica misma. Postulan que el trabajo futuro debe abordar la escalabilidad, las garantías teóricas para el proxy y el descubrimiento de propiedades de datos universales más allá de la epiplexidad. No obstante, el trabajo establece que la epiplexidad es una señal viable y accionable para mejorar la generalización del modelo tanto en regímenes de datos naturales como sintéticos.