🤖 AI

SE-Bench: Benchmarking Self-Evolution with Knowledge Internalization

Este artículo presenta SE-Bench, un entorno de diagnóstico que ofusca la biblioteca NumPy para evaluar rigurosamente la autoevolución al aislar la internalización del conocimiento del conocimiento previo y la complejidad del razonamiento, revelando que el entrenamiento en libro cerrado y el autojuego son más efectivos que el entrenamiento en libro abierto o el aprendizaje por refuerzo estándar para incrustar nuevos conocimientos en los pesos del modelo.

Autores originales: Jiarui Yuan, Tailin Jin, Weize Chen, Zeyuan Liu

Publicado 2026-05-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jiarui Yuan, Tailin Jin, Weize Chen, Zeyuan Liu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a un estudiante brillante cómo usar un lenguaje de programación completamente nuevo y totalmente ajeno. El truco? Este lenguaje se ve y actúa exactamente como un lenguaje que ya conoce (como NumPy de Python), pero cada palabra y comando ha sido mezclado hasta convertirlo en sinsentido.

Por ejemplo, en lugar de escribir numpy.mean, deben escribir zwc.kocito.

Esta es la idea central de SE-BENCH, un nuevo "examen" creado por investigadores de la Universidad Tsinghua para probar si los agentes de IA pueden realmente aprender y recordar nuevas habilidades por sí mismos, en lugar de simplemente adivinar o depender de una hoja de trucos.

Aquí tienes un desglose de sus hallazgos usando analogías simples:

1. El Problema: La Prueba "Falsamente Nueva"

Las pruebas actuales de IA son defectuosas. Si le pides a una IA que resuelva un problema matemático usando una nueva biblioteca, es posible que la IA simplemente la esté recordando de sus datos de entrenamiento (como un estudiante que memorizó el libro de texto antes del examen). O bien, si la IA falla, no sabes si es porque olvidó la biblioteca o porque el problema matemático era demasiado difícil.

La Solución SE-BENCH:
Los investigadores crearon una versión "mezclada" de una biblioteca común llamada NumPy.

La Mezcla: Renombraron cada función a palabras sin sentido aleatorias (por ejemplo, mean se convierte en kocito).
La Regla: A la IA no se le permite usar la biblioteca original. Debe usar las palabras sin sentido.
El Objetivo: Si la IA puede resolver el problema usando las palabras sin sentido, demuestra que realmente aprendió las nuevas reglas. Si no puede, falló en internalizar el conocimiento.

2. Los Tres Grandes Descubrimientos

Los investigadores probaron diferentes formas de enseñar a la IA y encontraron tres verdades sorprendentes:

A. La "Paradoja del Libro Abierto" (¡No dejes que hagan trampa!)

La Configuración: Intentaron enseñar a la IA de dos maneras:
1. Libro Abierto: La IA podía ver el diccionario (la documentación) mientras estudiaba y mientras realizaba la prueba.
2. Libro Cerrado: La IA podía ver el diccionario mientras estudiaba, pero tenía que tirar el diccionario antes de realizar la prueba.
El Resultado: Los estudiantes de "Libro Abierto" fallaron completamente cuando se retiró el diccionario. No habían aprendido realmente el material; simplemente lo estaban consultando.
La Lección: Para que la IA realmente aprenda y almacene el conocimiento en su "cerebro" (sus pesos internos), debes obligarla a estudiar sin el diccionario durante las actualizaciones de entrenamiento. Necesita comprimir la información dentro de sí misma.

B. La "Brecha RL" (El Aprendizaje por Refuerzo es un mal maestro para los hechos)

La Configuración: Intentaron usar Aprendizaje por Refuerzo (RL), un método donde la IA aprende probando cosas y recibiendo recompensas por respuestas correctas (como un perro aprendiendo trucos).
El Resultado: Incluso con el método de "Libro Cerrado", RL falló. La IA no pudo aprender las nuevas palabras sin sentido.
La Razón: Los investigadores descubrieron que los "frenos de seguridad" integrados en RL (llamados recorte PPO) impiden que la IA realice los grandes y audaces cambios necesarios para memorizar nuevo vocabulario. Es como un maestro que tiene demasiado miedo de permitir que el estudiante cometa grandes errores, por lo que el estudiante nunca aprende las nuevas reglas.
La Lección: RL es excelente para pulir el comportamiento, pero es terrible para enseñar hechos completamente nuevos desde cero.

C. El Éxito del "Juego Autogenerado" (Enseñarse a sí mismo funciona, si usas el método correcto)

La Configuración: Permitieron que la IA generara sus propios problemas de práctica e intentara resolverlos (Juego Autogenerado).
El Resultado:
- Si usaron RL para el juego autogenerado, la IA falló (0% de éxito).
- Si usaron Ajuste Fino Supervisado (SFT) (un método de enseñanza más directo) en los problemas generados por la IA misma, tuvo éxito.
La Lección: La IA puede enseñarse a sí misma nuevas habilidades, pero solo si el "método de enseñanza" (SFT) es lo suficientemente fuerte para forzar el conocimiento dentro de su cerebro. RL no es una solución "talla única" para la autoevolución.

Analogía de Resumen

Piensa en la IA como un estudiante que se prepara para un examen sorpresa sobre un nuevo tema.

El Examen: El examen usa un idioma inventado que se parece al inglés pero tiene palabras diferentes.
El Fracaso: Si se permite al estudiante sostener el diccionario durante el examen, aprueba, pero no ha aprendido nada. Si intenta aprender simplemente adivinando y obteniendo "puntos" por respuestas correctas (RL), se queda atascado porque las reglas para adivinar son demasiado estrictas.
El Éxito: La única manera en que el estudiante realmente aprende es si practica con el diccionario, pero luego se le obliga a realizar el examen sin él (Entrenamiento de Libro Cerrado). Esto fuerza a su cerebro a memorizar realmente las nuevas palabras.

La Conclusión:
SE-BENCH demuestra que para que la IA realmente "evolucione" y aprenda nuevas habilidades por sí misma, debemos dejar de permitirles depender de hojas de trucos externas durante el entrenamiento y dejar de usar el Aprendizaje por Refuerzo para enseñar nuevos hechos. Necesitamos obligarlos a memorizar el conocimiento internamente.

Resumen Técnico: SE-BENCH: Evaluación de la Autoevolución con Internalización de Conocimiento

Definición del Problema

El artículo aborda una brecha crítica en la evaluación de agentes autoevolutivos: la capacidad de internalizar conocimientos y habilidades novedosos para el aprendizaje continuo. Si bien las evaluaciones actuales miden adaptaciones transitorias (por ejemplo, refinamiento en tiempo de inferencia o auto-modificación iterativa), no logran medir rigurosamente la capacidad fundamental de internalización de conocimiento: el proceso mediante el cual un agente aprende activamente de la experiencia para actualizar sus parámetros de forma permanente.

Las evaluaciones existentes adolecen de dos factores de confusión fundamentales:

Enredo del Conocimiento Previo: Es difícil distinguir si un agente resolvió una tarea que involucra conocimiento "novedoso" aprendiéndolo durante el experimento o recordándolo de los datos de pre-entrenamiento.
Enredo de la Complejidad del Razonamiento: Los fallos en tareas complejas son ambiguos; podrían derivar de una incapacidad para internalizar el conocimiento necesario o simplemente de la dificultad lógica del razonamiento requerido.

Para resolver esto, los autores abogan por una prueba de "Aguja en un Heno" para la autoevolución: un entorno donde las tareas son algorítmicamente triviales si el conocimiento está internalizado, pero imposibles sin él.

Metodología: Construcción de SE-BENCH

Los autores presentan SE-BENCH, un entorno diagnóstico diseñado para ofuscar la biblioteca NumPy en un paquete pseudo-novedoso denominado ZWC. El pipeline de construcción involucra tres etapas:

Ofuscación:
- Renombrado: 268 funciones comunes de NumPy se mapean a identificadores aleatorizados y semánticamente vacíos (por ejemplo, numpy.mean $\rightarrow$ zwc.kocito).
- Implementación de Envoltura: Una clase personalizada ZWCArray envuelve todas las entradas y salidas para evitar que los modelos eludan la ofuscación llamando a métodos estándar en las matrices NumPy subyacentes.
- Reescritura de Documentación: La documentación de la API es reescrita por un LLM para describir el nuevo paquete ZWC, asegurando que la lógica permanezca isomorfa a NumPy estándar, pero que la sintaxis sea ajena.
Generación de Preguntas:
- Tareas de Función Única: Problemas que requieren exactamente una función específica de ZWC para resolverse, asegurando una cobertura del 100% de la biblioteca.
- Tareas de Múltiples Funciones: Problemas complejos que requieren la composición de al menos tres funciones de un conjunto muestreado para probar la generalización más allá de la simple memorización.
Filtrado:
- Las tareas se validan mediante un protocolo estricto de consenso utilizando tres modelos de última generación (Qwen3-Coder, Gemini-2.5-Pro, GPT-OSS-120B). Una tarea se retiene solo si las tres pueden resolverla utilizando NumPy estándar.
- Se realiza una verificación humana en un subconjunto aleatorio para asegurar la claridad.

Protocolo de Evaluación:

Fase de Entrenamiento: Se proporciona a los agentes la descripción del problema y la documentación relevante de la API ZWC.
Fase de Prueba: Se proporciona a los agentes únicamente la descripción del problema. Deben depender enteramente del conocimiento internalizado durante el entrenamiento.
Métrica de Éxito: Una solución es correcta solo si supera todos los casos de prueba, utiliza las APIs de ZWC (verificado mediante análisis AST) y contiene cero importaciones de la biblioteca NumPy original.

Contribuciones y Hallazgos Clave

El artículo presenta tres hallazgos principales derivados de la evaluación de diversas estrategias de autoevolución (basadas en Memoria, SFT, RL y Auto-Juego) en SE-BENCH:

1. La Paradoja del Libro Abierto

La presencia de documentación de referencia durante las actualizaciones de parámetros inhibe la retención a largo plazo.

Hallazgo: El Ajuste Fino Supervisado Estándar (Open-SFT), donde la documentación está presente tanto durante la recolección de trayectorias como durante el entrenamiento, resulta en un 0% de rendimiento en el conjunto de prueba (sin documentación).
Mecanismo: Eliminar la documentación durante la fase de entrenamiento (Closed-SFT) fuerza al modelo a comprimir la lógica externa en sus pesos en lugar de depender del contexto. Closed-SFT supera significativamente a Open-SFT, demostrando que la verdadera internalización requiere "inanición de información" durante la optimización.

2. La Brecha del RL

El Aprendizaje por Refuerzo (RL) estándar falla al internalizar nuevo conocimiento, incluso bajo la configuración de Libro Cerrado.

Hallazgo: Closed-RL logra un 0% de rendimiento.
Mecanismo: El fallo se atribuye a dos mecanismos específicos en el RL estándar (específicamente PPO/GRPO):
- Recorte PPO: Previene los grandes desplazamientos de masa de probabilidad requeridos para aprender nuevos mapeos de vocabulario (por ejemplo, np.mean $\rightarrow$ zwc.kocito).
- Gradientes Negativos: El uso de ventajas normalizadas introduce refuerzo negativo para respuestas por debajo del promedio, lo que erosiona asociaciones tentativas antes de que puedan solidificarse durante las etapas frágiles tempranas de la memorización.
Éxito Híbrido: Un enfoque híbrido (Closed-SFT seguido de RL) logra un rendimiento de vanguardia. Aquí, SFT establece la memoria fundamental, y RL actúa como un optimizador conductual, podando conjeturas "perezosas" y mejorando la disciplina de ejecución sin corregir errores fundamentales de memoria.

3. Viabilidad del Auto-Juego

La autoevolución mediante datos generados por uno mismo es viable, pero el mecanismo de optimización es crítico.

Hallazgo: El auto-juego puro de RL (Absolute-Zero) falla completamente (0%). Sin embargo, aplicar Closed-SFT a tareas y respuestas generadas por uno mismo (Closed-SFTself) produce un rendimiento significativo (22.5% en tareas de función única).
Implicación: Los modelos son capaces de generar currículos válidos para enseñarse a sí mismos; el fracaso del auto-juego estándar se debe a la inadecuación del RL para la internalización de conocimiento, no al paradigma de auto-juego en sí mismo.

Resultados

Rendimiento de Línea Base: Los métodos basados en memoria (Expel) lograron resultados no triviales (hasta 47.1%) mapeando identificadores a conceptos conocidos, pero fallaron en lograr una retención perfecta.
Optimización de Parámetros: Solo Closed-SFT y los métodos híbridos Closed-SFT-RL tuvieron éxito. Todos los demás métodos de actualización de parámetros (Open-SFT, Open-RL, Closed-RL, Absolute-Zero) fallaron completamente.
Generalización: Los hallazgos (Paradoja del Libro Abierto y Brecha del RL) se validaron en diferentes familias de modelos (Qwen3 y Llama3) y escalas (de 1.7B a 30B parámetros).
Análisis de Errores: El RL redujo significativamente las "Alucinaciones de Atributos" (adivinar métodos inexistentes) al fomentar la vuelta a primitivas robustas, pero no corrigió las "Alucinaciones de Función" (nombres de API incorrectos) ni los "Desalineamientos de Firma", confirmando el papel del RL como optimizador conductual en lugar de internalizador de conocimiento.

Significado

El artículo posiciona a SE-BENCH como una plataforma de diagnóstico rigurosa para la comunidad de agentes autoevolutivos. Su significado radica en:

Aislar la Internalización: Proporciona un entorno limpio y controlado para separar la internalización de conocimiento de la complejidad del razonamiento y la filtración de conocimiento previo.
Herramienta de Diagnóstico: Sirve como una "prueba unitaria" para futuros agentes autoevolutivos, sugiriendo que los agentes deben aprobar SE-BENCH para ser confiados con una evolución compleja y abierta.
Insight Mecanístico: Cuestiona la suposición de que el RL es una solución universal para la auto-mejora, demostrando que SFT es superior para la internalización fáctica, mientras que el RL es más adecuado para optimizar la utilización del conocimiento ya internalizado.
Investigación Futura: Establece una base para estudiar los mecanismos fundamentales de la internalización de conocimiento, guiando potencialmente el diseño de algoritmos híbridos más dirigidos para el desarrollo de AGI.