💻 computer science

Teacher-Free Self-Training Amplifies but Does Not Compound: A Pass@ $K$ Crossover on a Free-Verifier Domain

Este artículo demuestra que el autoentrenamiento sin profesor en un dominio de DSL verificado amplifica la capacidad de un modelo para expresar capacidades existentes mediante la concentración de la masa de probabilidad, pero no aumenta su alcance subyacente, como lo evidencia el hecho de que el modelo base termina superando al modelo entrenado con presupuestos de muestreo más altos.

Autores originales: Igor Lima Strozzi

Publicado 2026-06-09

📖 6 min de lectura🧠 Análisis profundo

CC0 1.0

Autores originales: Igor Lima Strozzi

Artículo original dedicado al dominio público bajo CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Pregunta: ¿La práctica hace al maestro, o solo hace que sea mejor para presumir?

Imagina que tienes un estudiante (un modelo de IA) que está tratando de aprender una nueva habilidad, como resolver acertijos de lógica. Al estudiante se le permite practicar resolviendo acertijos, comprobando sus propias respuestas con una clave de respuestas perfecta y luego estudiando aquellas que acertó para mejorar.

La gran pregunta que plantea este artículo es: Cuando el estudiante practica de esta manera, ¿está realmente aprendiendo cosas nuevas que antes no podía hacer (composición/compounding), o solo está mejorando en mostrar las soluciones que ya era capaz de encontrar pero que rara vez encontraba (amplificación)?

Mucha gente espera la primera opción (aprender superpoderes nuevos). Este artículo argumenta que, en esta configuración específica, el estudiante solo está haciendo la segunda opción (mejorar en mostrar sus habilidades existentes).

La Configuración: El Juego de la "Puerta Trampilla" (Trapdoor)

Para probar esto de manera justa, los investigadores construyeron un juego especial llamado "Dominio de la Puerta Trampilla". Piensa en ello como una caja mágica con tres reglas:

El Generador (El Estudiante): Una IA pequeña que intenta escribir un programa para resolver un acertijo.
El Verificador (La Clave de Respuestas Perfecta): Un programa informático simple que comprueba si la respuesta es 100% correcta. No es una IA; es solo un comprobador de reglas estricto. No cuesta nada ejecutarlo y nunca se equivoca.
El Crítico (El Entrenador): Una IA pequeña que adivina qué respuesta del estudiante es más probable que funcione en nuevos acertijos, no solo en los que acaba de ver.

¿Por qué es esto especial? Normalmente, cuando una IA se enseña a sí misma, depende de un "maestro" (una IA más grande y lista) para calificar su trabajo. Aquí, no hay maestro. La "Clave de Respuestas" es solo una regla matemática. Esto significa que si el estudiante aprende algo nuevo, debe ser porque el estudiante mejoró, no porque el maestro se lo enseñara.

El Experimento: Tres Rondas de Práctica

Los investigadores dejaron que el estudiante practicara en rondas:

Ronda 1: El estudiante intenta resolver acertijos. La Clave de Respuestas los comprueba. El estudiante estudia los aciertos.
Ronda 2: El estudiante intenta de nuevo, usando lo que aprendió.
Ronda 3: Una vez más.

Midieron dos cosas:

Qué tan seguido el estudiante acertaba al primer intento (Pass@1).
Qué tan seguido el estudiante acertaba si se le permitía intentarlo 64 veces (Pass@64).

Los Hallazgos: Amplificación, no Composición

Esto es lo que descubrieron, usando algunas metáforas:

1. El "Entrenador" ayuda más que la "Clave de Respuestas"

Cuando el estudiante generaba 8 posibles respuestas, la "Clave de Respuestas" solo podía decir "Sí, esto funciona para los ejemplos que veo" o "No". No podía decir qué respuesta funcionaría en nuevos acertijos.
El "Entrenador" (el Crítico) era mucho mejor eligiendo la respuesta correcta. Mejoró la tasa de éxito del estudiante en un 9% en comparación con elegir al azar.

El detalle: Esta mejora solo ocurrió en acertijos donde el estudiante estaba confundido (donde diferentes respuestas parecían estar bien). El Entrenador no creó nuevas habilidades; solo ayudó al estudiante a elegir la mejor opción existente.

2. El Techo se Eleva, pero más Lento

A medida que el estudiante practicaba, su rendimiento mejoraba.

De la Ronda 1 a la 2: Gran salto en el rendimiento.
De la Ronda 2 a la 3: Salto más pequeño.
El Patrón: Las ganancias se ralentizaron cada vez. Esto se llama Amplificación. El estudiante estaba excavando más profundo en una mina que ya sabía que existía, encontrando el oro que ya estaba allí pero que era difícil de alcanzar. No estaba descubriendo una nueva mina.

3. La Prueba de "Rebasamiento" (La Prueba Irrefutable)

Esta es la parte más importante. Los investigadores compararon al "Estudiante Entrenado" contra el "Estudiante Original" (antes de cualquier práctica).

Con bajo esfuerzo (intentándolo 8 veces): El Estudiante Entrenado gana. Son más agudos y consistentes.
Con alto esfuerzo (intentándolo 64 veces): El Estudiante Original gana.

La Metáfora: Imagina que el Estudiante Original tiene una red amplia y poco profunda. Puede que pierda un pez en el primer intento, pero si lanza la red 64 veces, atrapa casi todo porque su red es amplia.
El Estudiante Entrenado tiene una red estrecha y profunda. Son muy buenos atrapando los peces que son fáciles de encontrar, por lo que ganan cuando solo tienen que lanzar la red una o dos veces. Pero debido a que se concentraron tanto en esos peces fáciles, olvidaron cómo lanzar la red ampliamente. Cuando intentan 64 veces, en realidad atrapan menos peces totales que el Estudiante Original porque su "red" se ha encogido.

La Conclusión: Afilar, no Crecer

El artículo concluye que este método de auto-entrenamiento amplifica la capacidad pero no la compone.

Amplificación: El modelo se vuelve mejor encontrando las soluciones que ya era capaz de encontrar si se esforzaba lo suficiente. Concentra su energía en las victorias "fáciles".
Sin Composición: El modelo no rompió una barrera para resolver problemas que era fundamentalmente incapaz de resolver antes. No expandió su alcance; simplemente estrechó su enfoque.

Una Advertencia sobre los Puntajes de "Cero"

El artículo también señala un error común en la investigación de IA. A veces, un modelo obtiene un 0% en una prueba difícil y, tras el entrenamiento, obtiene un 10%. La gente dice: "¡Mira! ¡Aprendió algo nuevo!".
Los investigadores dicen: Esperen. En este tipo de acertijos específicos, obtener un 0% a menudo solo significa que no lo intentaste suficientes veces (submuestreo). Si lo intentaras 64 veces, el modelo "no entrenado" también podría resolver esos acertijos "imposibles". Así que, salir de un cero no siempre es una señal de un nuevo superpoder; a veces es solo una señal de mejor suerte o de más intentos.

Resumen

La IA no aprendió a volar; solo aprendió a saltar más alto de lo que podía antes. Se convirtió en un especialista en encontrar las soluciones que ya estaban a su alcance, pero no ganó la capacidad de alcanzar lugares a los que antes no podía llegar.

Resumen Técnico: El autoentrenamiento sin profesor amplifica pero no acumula

1. Planteamiento del problema

La cuestión central abordada es si los bucles de automejora para modelos de lenguaje (LLM) que entrenan sobre sus propios resultados verificados acumulan capacidad (adquiriendo una nueva capacidad de alcance genuina más allá de la distribución del modelo base) o simplemente amplifican la capacidad (haciendo superficiales soluciones raras y alcanzables que el modelo base ya podía generar con un muestreo suficiente).

La literatura existente está dividida:

Visión de elicitación: Entrenar en resultados verificados simplemente agudiza la capacidad del modelo para acceder a capacidades latentes, lo que a menudo resulta en que el modelo base supere al modelo entrenado con presupuestos de muestreo grandes (pass@K) [11].
Visión de acumulación: El refuerzo prolongado (RL) puede elevar a los modelos más allá de su distribución base, resolviendo instancias que el modelo base no puede alcanzar con ningún presupuesto [8].

Existe una brecha metodológica crítica: la mayoría de los estudios dependen de "profesores" (modelos más grandes, modelos de recompensa o humanos) que limitan el techo de novedad por construcción, o declaran "emergencia" basándose en métricas que se desplazan desde ceros aparentes, lo cual puede ser un artefacto de muestreo en lugar de una verdadera frontera de capacidad.

2. Metodología: La constelación de la "Trampa"

Para hacer decidible la distinción entre amplificación y acumulación, los autores construyen una "constelación" sin profesor en un dominio específico:

Dominio: Un Dominio de Lenguaje Específico (DSL) tipo FlashFill para transformaciones de cadenas.
- Generación hacia adelante: Barata para sintetizar pares (problema, solución) verificados.
- Resolución hacia atrás: Difícil para el modelo invertir.
- Verificación: Un intérprete exacto, total y gratuito (sin parámetros aprendidos) que comprueba la corrección de forma exacta.
Roles del sistema:
1. Verificador: El intérprete exacto. Filtra los candidatos consistentes con los ejemplos visibles, pero no puede adjudicar la generalización en entradas no vistas (held-out).
2. Generador: Un modelo Qwen3-4B de 4 bits con un adaptador LoRA, que mapea ejemplos visibles a programas candidatos.
3. Crítico: Un adaptador LoRA separado entrenado como un clasificador generativo de sí/no para clasificar candidatos según su probabilidad de generalizar a entradas no vistas.
4. Director (Conductor): Orquesta el bucle sin un modelo.
Bucle de entrenamiento (STaR):
- El generador propone $K$ candidatos.
- El verificador filtra aquellos que fallan en los ejemplos visibles.
- El crítico clasifica a los supervivientes; se selecciona el mejor candidato.
- El verificador adjudica el candidato seleccionado en ejemplos no vistos (held-out).
- Solo los programas que generalizan, generados por el modelo y confirmados por el verificador, se utilizan como objetivos de ajuste fino supervisado (SFT) para la siguiente ronda.
- Restricción crucial: No hay involucrado ningún modelo más grande o profesor externo; el techo no está limitado por la competencia de un profesor.

Configuración experimental:

Hardware: Una sola GPU de 24 GB (RTX 3090).
Modelo: Qwen3-4B-Instruct (cuantización de 4 bits).
Bancos: Dos bancos de evaluación congelados (Fácil: máximo 3 átomos; Difícil: máximo 4 átomos, recuento de átomos fuera del entrenamiento).
Trayectoria: Tres rondas (v0 $\to$ v1 $\to$ v2) de autoentrenamiento.

3. Contribuciones clave

Una constelación totalmente sin profesor: Un sistema de generador/crítico/verificador ejecutable en una sola GPU, donde el verificador es un intérprete exacto, asegurando que no haya un "escape de vía de destilación" que limite la novedad.
Superioridad de la selección guiada por el crítico: Se demostró que un crítico aprendido supera a la línea base "best-of-k" (ingenua) filtrada por el verificador por +9.1 puntos porcentuales (en 6/6 semillas). La ganancia se localiza enteramente en las tareas donde los candidatos discrepan sobre las entradas no vistas (el subconjunto divergente), confirmando que el crítico recupera la capacidad existente en lugar de crear nuevas capacidades.
Amplificación con ritmo de cabizbajo (Headroom-Paced): El autoentrenamiento eleva el techo de rendimiento pero nunca acelera. La ganancia por ronda desacelera a medida que el modelo se acerca a la frontera alcanzable de la distribución base.
El cruce de Pass@K: Un cruce medido donde el modelo entrenado gana en el presupuesto operativo (pass@8), pero el modelo base supera al modelo entrenado en presupuestos grandes (pass@64) en cada trayectoria. Esto confirma que el modelo concentra la masa de probabilidad en menos soluciones en lugar de expandir su alcance.
Corrección metodológica sobre la "emergencia": En este DSL compositivo, las celdas de "capacidad cero" aparente con pocos conteos de muestra son artefactos de submuestreo, no fronteras genuinas. Declarar la emergencia basándose en el ascenso desde cero es inválido sin verificación a escala de población.

4. Resultados

Rendimiento de selección

Crítico vs. Ingenuo: El crítico mejora significativamente la precisión de la selección, particularmente en el subconjunto divergente (donde los candidatos discrepan sobre los datos no vistos).
- Semilla 1234: Ingenuo 53.3% $\to$ Crítico 93.3%.
- Semilla 7: Ingenuo 61.9% $\to$ Crítico 92.9%.
Consistencia: La mejora total es igual a la mejora en el subconjunto divergente exactamente, probando que el crítico solo actúa donde existe ambigüedad estructural.

Trayectoria de autoentrenamiento (STaR)

Ascenso del techo: El techo del verificador (pass@8) aumenta de la ronda 0 a la ronda 2 en ambos bancos.
- Banco Fácil: 46.7% $\to$ 53.1% $\to$ 55.4%.
- Banco Difícil: 37.9% $\to$ 41.1% $\to$ 45.0%.
Desaceleración: La ganancia por ronda no es acelerada.
- Fácil: +6.4% (v0 $\to$ v1) $\to$ +2.3% (v1 $\to$ v2).
- Difícil: +3.2% (v0 $\to$ v1) $\to$ +3.9% (v1 $\to$ v2) en una sola semilla, pero a través de 4 trayectorias de entrenamiento independientes, la tendencia es consistentemente desacelerada (+5.1% $\to$ +2.8%).
Sin colapso: La diversidad (cardinalidad de programas que generalizan por tarea) aumentó (2.79 $\to$ 4.05), y ninguna clase regresó a capacidad cero.

El diagnóstico del cruce (Amplificación vs. Acumulación)

Presupuesto operativo (pass@8): El modelo entrenado (v2) supera al base (v0).
- Fácil: v2 (53.0%) > Base (4.6.0%).
- Difícil: v2 (46.0%) > Base (38.0%).
Presupuesto grande (pass@64): El modelo base supera al modelo entrenado.
- Fácil: Base (68.0%) > v2 (61.5%).
- Difícil: Base (57.5%) > v2 (52.5%).
Interpretación: El modelo entrenado concentra la masa de probabilidad en soluciones "raras pero alcanzables", haciéndolas comunes (ganando en $K$ bajo), pero reduce la capacidad del modelo para explorar toda la cola de la distribución (perdiendo en $K$ alto). El techo del modelo entrenado permanece estrictamente por debajo del envolvente de gran $K$ del modelo base.

Fronteras de capacidad cero

Las clases que parecían tener un 0% de éxito con pocos conteos de muestra (por ejemplo, estructuras específicas de 4 átomos) resultaron tener tasas de éxito no nulas (25–50%) cuando se midieron a escala de población.
El "muro real" no está en cero, sino en la brecha entre la capacidad del modelo base para encontrar un programa que ajuste pero sea incorrecto (alto pass@64) y un programa que genere (generalice). Esta brecha (~11 pp) es el verdadero límite de capacidad.

5. Significado y Reivindicaciones

El artículo afirma proporcionar un resultado negativo respecto a la acumulación en un régimen específico y riguroso:

Amplificación, no Acumulación: En un entorno sin profesor con un verificador exacto y gratuito, el autoentrenamiento (STaR) amplifica el alcance de la distribución base del modelo, pero no lo acumula para crear un nuevo alcance. El "techo" está dictado por el espacio restante (headroom) del modelo base.
Validez Metodológica: El estudio cuestiona la validez de las pruebas de "0% $\to$ ascenso = emergencia" en dominios compositivos, argumentando que tales ceros son a menudo artefactos de submuestreo.
Disociación de Diversidad y Cobertura: El estudio observa que, si bien la diversidad de soluciones cosechadas aumenta durante la generación de datos, la cobertura pass@K del modelo entrenado en el momento de la evaluación se estrecha. Esto se alinea con las teorías de colapso de la diversidad en SFT, donde la optimización de la precisión concentra la masa de probabilidad en soluciones modales.

Limitaciones y Alcance:

El resultado es interno al dominio del DSL específico tipo FlashFill y al régimen de verificador exacto sin profesor.
El hallazgo de "no acumulación" puede ser específico a la falta de un bono de exploración o un verificador ruidoso; un RL prolongado con exploración o modelos de recompensa aprendidos podría comportarse de manera diferente.
El poder estadístico es modesto (K=4 trayectorias de entrenamiento), aunque suficiente para rechazar la aceleración.
El estudio no pretende resolver el debate para todos los regímenes de RL/SFT, sino que aísla específicamente el caso de "sin profesor y verificador exacto" para mostrar que, sin guía externa o mecanismos de exploración, el bucle no puede romper el envolvente de la distribución del modelo base.

En resumen, el artículo sostiene que sin un profesor que importe nuevos patrones de razonamiento o un mecanismo de exploración que empuje más allá de la frontera alcanzable, el autoentrenamiento es un proceso de afilamiento y puesta en superficie de las capacidades existentes, no de acumulación de estas en capacidades nuevas.