🤖 machine learning

Why the Third Axis Is Freedom

Este artículo sostiene que el "tercer eje" en el entrenamiento generativo no es el modelado explorativo (XM) en sí mismo, sino la "libertad" —la debilidad de las restricciones de comportamiento— la cual el XM facilita al aumentar la probabilidad de coincidencia y supera empíricamente a los métodos de selección tradicionales en escenarios de generalización y cambio de distribución.

Autores originales: Michael Timothy Bennett

Publicado 2026-08-07

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Michael Timothy Bennett

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Gran Juego de Adivinanza de la IA

Imagina que estás enseñando a un robot a hacer dibujos. En el mundo de la inteligencia artificial, esto se hace normalmente mediante un proceso llamado "entrenamiento generativo". El robot intenta hacer una imagen y, si se ve diferente del ejemplo que le mostraste, recibe una "penalización" o una mala puntuación. El robot quiere minimizar esta penalización, por lo que aprende a copiar el ejemplo con la mayor perfección posible. Pero aquí está el truco: si el robot solo aprende a escupir la única respuesta más común que ve, puede volverse muy bueno copiando esa cosa específica, pero terrible al manejar cualquier cosa nueva o diferente. Se convierte en un loro rígido en lugar de un artista creativo.

Durante mucho tiempo, los científicos se preguntaron cómo hacer que estos modelos fueran más flexibles. Descubrieron un truño llamado "Modelado Exploratorio". En lugar de pedirle al robot que haga solo un intento, le pides que haga muchos intentos a la vez —por ejemplo, diez dibujos diferentes—. Luego, solo castigas al que es más cercano al objetivo, ignorando los otros nueve. Esto obliga al robot a mantener una variedad más amplia de ideas en su cabeza, con la esperanza de que una de ellas sea la correcta. Esta idea fue llamada recientemente como un nuevo "tercer eje" del entrenamiento de la IA, sugiriendo que la capacidad de contener muchos "modos" o versiones de una respuesta es la clave para hacer a la IA más inteligente.

Pero, ¿es mantener muchas ideas lo mismo que ser inteligente? Este artículo plantea una pregunta más profunda: ¿Está la magia en el número de intentos, o está en la libertad que tiene el robot para elegir? El autor argumenta que simplemente contar cuántos intentos hace un modelo no es toda la historia. En cambio, el verdadero secreto es la "libertad", que en este contexto significa cuántas formas diferentes tiene el modelo de ser correcto sin romper las reglas. Es la diferencia entre un robot que es forzado a elegir de una lista diminuta de diez opciones, y un robot que tiene permitido elegir de una vasta biblioteca de posibilidades, incluso si actualmente solo usa algunas de ellas. El artículo explora si esta "libertad" es lo que realmente ayuda a la IA a aprender mejor, en lugar de solo el número bruto de intentos.

El Tercer Eje es la Libertad, No Solo un Conteo

El autor, Michael Timothy Bennett, adopta una mirada fresca sobre este "tercer eje" del entrenamiento de la IA. Argumenta que, si bien la idea anterior de "expresividad generativa" (la capacidad de contener muchos modos) es interesante, en realidad es un poco un espejismo. El verdadero héroe de la historia es la libertad.

Piensa en el comportamiento de un modelo como un conjunto de reglas para un juego. Una regla "débil" es una regla que no te restringe mucho. Por ejemplo, una regla que dice "Puedes usar cualquier color de camisa" es débil porque permite millones de posibilidades. Una regla "fuerte" que dice "Debes usar una camisa roja" es fuerte porque te deja con una sola opción. Bennett argumenta que los mejores modelos de IA son aquellos que mantienen sus reglas lo más "débiles" posible mientras siguen siendo correctos. Esta "debilidad" es lo que él llama libertad. Es el volumen de completaciones compatibles que el modelo aún puede imaginar. Si un modelo es demasiado rígido (demasiado fuerte), podría fallar cuando el mundo cambie. Si es libre (débil), puede adaptarse a nuevas situaciones porque no se ha encerrado en un único camino estrecho.

El artículo desafía la idea de que el "tercer eje" es simplemente sobre el número de salidas que un modelo puede producir (su "conteo de modos"). Bennett demuestra que un modelo podría teóricamente tener un número enorme de salidas permitidas pero seguir siendo terrible en la generalización si solo utiliza una de ellas. Por el contrario, un modelo con un conjunto más pequeño de salidas permitidas podría ser increíblemente poderoso si distribuye su atención de manera uniforme entre ellas. El artículo demuestra matemáticamente que la libertad es una propiedad de la función del modelo (lo que realmente hace), no de su forma (cuántos parámetros o capas tiene). Puedes cambiar el tamaño del modelo o los datos que ve, pero si la "libertad" de su comportamiento permanece igual, su capacidad de generalización permanece igual.

La Magia del "Best-of-K"

Entonces, ¿cómo obtenemos esta libertad? El artículo analiza un método llamado Modelado Exploratorio (XM), donde un modelo genera $K$ candidatos y elige el mejor. El autor deriva una fórmula matemática que muestra exactamente cómo funciona este proceso.

Imagina que estás buscando una llave específica en una habitación oscura.

Si solo buscas una vez ( $K=1$ ), podrías perder la llave aunque esté ahí mismo.
Si buscas diez veces ( $K=10$ ), tus posibilidades de encontrar la llave aumentan.

El artículo muestra que este proceso de "buscar diez veces" actúa como una lupa sobre la libertad del modelo. No crea nueva libertad de la nada; en su lugar, recompensa a los modelos que tienen un "perfil de permiso" amplio. Si un modelo permite muchas salidas diferentes (alta libertad), el proceso "best-of-K" tiene mucha más probabilidad de encontrar una buena coincidencia. Si el modelo es rígido y solo permite una salida, buscar diez veces no ayuda mucho porque los diez intentos serán probablemente la misma cosa aburrida.

El autor demuestra que a medida que aumentas $K$ (el número de intentos), el proceso de entrenamiento naturalmente empuja al modelo hacia ser más "débil" (más libre). Deja de intentar ser un copión perfecto de una sola cosa y comienza a aprender a cubrir un rango más amplio de posibilidades. Esto es especialmente cierto cuando los objetivos (las cosas que el modelo intenta aprender) no son todos iguales. Si algunos objetivos son raros y otros comunes, un $K$ pequeño hará que el modelo se concentre solo en los comunes. Pero a medida que $K$ se vuelve más grande, el modelo se ve obligado a prestar atención también a los raros, eventualmente distribuyendo su "permiso" a través de todas las opciones válidas.

Los Experimentos: Poniendo la Teoría a Prueba

El artículo no se queda solo en el ámbito de las matemáticas; realiza dos experimentos principales para ver si esto se sostiene en el mundo real de las redes neuronales.

Experimento 1: ¿Hace que más intentos el modelo sea más libre?
Los investigadores entrenaron modelos de IA con diferentes valores de $K$ (de 1 a 32). Midieron la "libertad" de los modelos entrenados contando cuántas salidas válidas diferentes los modelos estaban realmente permitidos producir.

El Resultado: Cuando usaron un $K$ más alto, los modelos se volvieron significativamente más libres. Por ejemplo, bajo objetivos uniformes, aumentar $K$ de 1 a 8 aumentó el "log de la media de la libertad" en aproximadamente 8.3. Los modelos no solo se volvieron mejores adivinando; realmente expandieron su "perfil de permiso" para incluir más posibilidades válidas. Esto confirmó que el método de entrenamiento convierte con éxito el presupuesto de "intentos" en libertad funcional.

Experimento 2: ¿Hace que elegir el modelo "más libre" lo haga mejor?
Aquí, los investigadores entrenaron un grupo de modelos y luego tuvieron que elegir el mejor para usarlo en una nueva situación (donde las reglas del juego cambiaron ligeramente). Compararon dos formas de elegir:

Validación del Hijo (Child-Validation): Elegir el modelo que mejor funcionó en los datos de entrenamiento originales (la tarea "hijo").
Selección por Libertad (Freedom Selection): Elegir el modelo que tuvo la puntuación de "libertad" más alta, incluso si no era el absolutamente mejor en los datos originales.

El Resultado: El método de "Selección por Libertad" ganó 29 de 30 veces. Los modelos elegidos por su libertad funcionaron mucho mejor en los nuevos datos balanceados (mejorando la tasa de acierto de aproximadamente 0.317 a 0.389). Esto sugiere que al seleccionar por libertad, estás seleccionando un modelo que es más robusto y adaptable al cambio, incluso si parece ligeramente menos perfecto en los datos específicos en los que fue entrenado.

El Panorama General: Medios vs. Fines

El artículo concluye con una distinción clara entre la herramienta y el objetivo.

La Exploración (los $K$ intentos) es el medio. Es el mecanismo, el presupuesto, la forma en que forzamos al modelo a mirar alrededor.
La Libertad es el fin. Es la propiedad real del modelo que lo hace bueno para la generalización.

El autor argumenta que la "expresividad generativa" (la idea de que tener muchos modos es el objetivo) es solo un indicador de la libertad. Es una forma de contar las posibilidades, pero pierde el matiz de cómo se usan esas posibilidades. Un modelo puede tener un alto conteo de modos pero seguir siendo rígido si no los usa bien. La verdadera generalización proviene de la libertad: la capacidad del modelo para permanecer abierto a muchos futuros compatibles.

Al final, el artículo sugiere que el "tercer eje" de la formación de la IA siempre ha sido la libertad. Los nuevos métodos como el Modelado Exploratorio son solo una forma ingeniosa de entrenar a los modelos para que sean menos restringidos, menos rígidos y más listos para lo que sea que el futuro les depare. Al entrenar con más intentos, no solo estamos enseñando a la IA a adivinar mejor; le estamos enseñando a ser más libre.

Resumen Técnico: Por qué el Tercer Eje es la Libertad

Planteamiento del Problema
Trabajos recientes sobre el Modelado Explorativo (XM) proponen la "expresividad generativa" como un tercer eje de preentrenamiento, definida como el número máximo de modos que un modelo minimizador de pérdida puede retener sobre una clase de distribuciones de datos. El XM entrena modelos generando $K$ candidatos por paso y actualizando únicamente sobre la coincidencia más cercana con el objetivo. Mientras que el XM reporta mejoras de rendimiento que escalan con $K$ , el tamaño del modelo y los datos, este artículo argumenta que la "expresividad generativa" es una métrica inferior para comprender la generalización. Específicamente, no puede clasificar modelos entrenados bajo el mismo objetivo, no describe el modelo específico seleccionado por el entrenamiento y carece de un teorema formal que la conecte con la generalización óptima. El artículo postula que el verdadero mecanismo subyacente que impulsa el éxito del XM no es el recuento de modos, sino la libertad —una propiedad de la función definida como la "debilidad de la restricción" implicada por el comportamiento de un modelo.

Metodología
El artículo emplea un marco teórico basado en la Teoría de Pilas (Stack Theory), que mide la "libertad" de una política contando el número de completaciones compatibles (refinamientos) que permite dentro de un lenguaje encarnado, en lugar de contar parámetros o modos. La metodología procede a través de tres etapas principales:

Derivación Teórica:
- El autor deriva una Identidad de Cobertura de Mejor-de- $K$ (Best-of- $K$ Coverage Identity) para espacios de salida medibles arbitrarios. Esta identidad muestra que el riesgo del entrenamiento de Mejor-de- $K$ estricto depende de la probabilidad de que un candidato pierda una región aceptable, elevada a la potencia $K$ .
- Se demuestra que bajo consistencia de despliegue (donde los candidatos de entrenamiento se extraen de la misma ley utilizada en la inferencia), el proceso de entrenamiento aplica una transformación $q \mapsto 1 - (1-q)^K$ a la masa de las regiones aceptables.
- Se construye un lenguaje generativo finito donde la libertad de una política se define por la cardinalidad de su extensión (el conjunto de completaciones compatibles). El artículo demuestra que para $K > 1$ , la probabilidad de alcanzar un objetivo aumenta estrictamente con la libertad local de la política, siempre que la política distribuya la masa uniformemente a través de sus salidas permitidas.
- El artículo distingue entre modelos deterministas de $K$ cabezales (que tienen un techo de soporte duro de $K$ ) y el XM hacia adelante (Forward XM) estocástico (donde el soporte puede exceder $K$ ).
Diseño Experimental:
- Experimento 1 (Dinámicas de Entrenamiento): Se entrenó un generador continuo condicionado por latencia utilizando XM hacia adelante basado en muestras con variaciones de $K$ ( $1, 2, 4, \dots, 32$ ). El estudio midió el "perfil de permiso desplegado" (el conjunto de salidas que el modelo puede emitir con probabilidad positiva) y calculó el log-libertad resultante. Esto se probó bajo distribuciones de objetivos uniformes y dependientes del contexto.
- Experimento 2 (Selección de Modelos): Se generó un grupo de modelos entrenados con XM. Se compararon dos estrategias de selección: la "validación de hijo" estándar (seleccionando basándose en el rendimiento sobre la distribución de entrenamiento) y un "selector de libertad" (seleccionando modelos que mantienen un alto rendimiento de hijo pero maximizan la libertad medida en contextos de padre no etiquetados). El objetivo era probar si la selección por libertad mejora la generalización bajo un cambio de distribución (de frecuencias de hijo de cola larga a frecuencias de padre equilibradas).

Contribuciones Clave

Reencuadre del Tercer Eje: El artículo argumenta formalmente que el "tercer eje" en el modelado generativo es la libertad (el volumen de completaciones compatibles), no la expresividad generativa (recuento de modos). La libertad es una propiedad de la función, mientras que la expresividad es una capacidad a nivel de objetivo.
Conexión Formal entre Exploración y Libertad: El autor demuestra que el entrenamiento de Mejor-de- $K$ actúa como un mecanismo para amplificar el acceso a permisos raros. Para $K > 1$ , el objetivo prefiere estrictamente políticas con mayor libertad local (más salidas permitidas) sobre aquellas con menos, siempre que la masa esté equilibrada.
Teorema de Generalización: Se demuestra que bajo demandas independientes y no vacías en contextos no vistos, la probabilidad de que una política sea compatible con requisitos futuros es exactamente proporcional a su libertad total.
Validación Empírica:
- El artículo demuestra que aumentar $K$ en el entrenamiento de XM hacia adelante aumenta directamente la libertad medida de la política desplegada.
- Muestra que seleccionar modelos basados en la libertad (en lugar de solo el rendimiento de la tarea de hijo) mejora significativamente el rendimiento en una distribución de padre desplazada, incluso cuando los modelos seleccionados tienen un rendimiento ligeramente inferior en la tarea de hijo original.

Resultados

Teóricos: La identidad de cobertura derivada confirma que la exploración ( $K$ ) amplifica el valor de los permisos raros. El artículo demuestra que para $K \ge 2$ , el óptimo de la población para objetivos uniformes es la distribución uniforme sobre el soporte completo, lo que maximiza la libertad local. Para objetivos no uniformes, el óptimo intercambia frecuencia por amplitud de soporte a medida que $K$ aumenta, convergiendo eventualmente hacia la masa uniforme sobre el soporte completo.
Experimento 1: Aumentar $K$ de 1 a 32 incrementó la media de log-libertad medida. Bajo objetivos uniformes, la libertad se saturó en $K=16$ . Bajo objetivos dependientes del contexto, la libertad continuó aumentando, demostando que un $K$ mayor convierte los presupuestos de exploración en perfiles de permiso más amplios.
Experimento 2: En 29 de 30 mundos de prueba, el selector de libertad superó al selector de validación de hijo en la tarea de padre equilibrado. Los modelos seleccionados por libertad lograron una tasa de acierto de padre equilibrado de 0.389 en comparación con el 0.317 de la línea base de validación de hijo (una mejora de +0.072). Estos modelos retuvieron repertorios más amplios (8.53 salidas activas frente a 5.85) y una mayor log-libertad, aceptando una reducción marginal en el rendimiento de la cola larga del hijo.

Significancia y Reivindicaciones
El artículo afirma proporcionar una división formal del trabajo para el modelado generativo:

Los Parámetros y los Datos determinan el tamaño de la región permitida que un modelo puede encarnar.
La Exploración ( $K$ ) controla qué tan fuertemente el entrenamiento recompensa el acceso muestreado a esa región.
La Libertad es la propiedad resultante de la función que determina la compatibilidad futura.

El autor sostiene que la "expresividad generativa" es simplemente un sustituto de la libertad que descarta la estructura de extensión esencial para la generalización. El artículo concluye que el XM es un medio para un fin: es un mecanismo efectivo para el "free-maxing" (seleccionar la política correcta más débil). El "tercer eje" siempre ha sido la libertad; el XM simplemente operacionaliza la presión de entrenamiento para que se preocupe por ella. Los resultados sugieren que seleccionar por libertad, en lugar de solo minimizar la pérdida o contar modos, es una estrategia superior para mejorar la generalización bajo cambios de distribución.

El Gran Juego de Adivinanza de la IA

El Tercer Eje es la Libertad, No Solo un Conteo

La Magia del "Best-of-K"

Los Experimentos: Poniendo la Teoría a Prueba

El Panorama General: Medios vs. Fines

Más como este