🤖 AI

Evaluating Agentic Learning Harness Capabilities Without Labels via the Scaling Hypothesis

Este artículo propone y valida un marco de evaluación sin etiquetas para sistemas de aprendizaje continuo agéntico en ciberseguridad, demostrando que medir la convergencia de un modelo estudiante hacia un modelo maestro más fuerte mediante correcciones dispersas sirve como un sustituto fiable de la verdadera mejora del rendimiento cuando no se dispone de evaluaciones etiquetadas.

Autores originales: Aryan Luthra, Kshitij Jain, Siddharth Arya, Bobby Filar, Anna Bertiger

Publicado 2026-08-17

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Aryan Luthra, Kshitij Jain, Siddharth Arya, Bobby Filar, Anna Bertiger

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a detectar un correo electrónico malicioso. En el mundo de la inteligencia artificial, tenemos estos "Modelos de Lenguaje de Gran Escala" (LLM) que son superinteligentes y pueden leer y escribir como los humanos. Pero para que sean verdaderamente útiles para la seguridad, necesitamos que aprendan de sus errores sobre la marcha, un proceso llamado "Aprendizaje Continuo". Normalmente, para ver si un robot está aprendiendo, se le hace una prueba con una clave de respuestas conocida (datos etiquetados). Pero en el mundo real de la ciberseguridad, los malhechores cambian sus trucos cada día, y rara vez tenemos una clave de respuestas perfecta. Solo recibimos retroalimentación cuando el robot comete un error enorme y obvio. Esto deja a los equipos de seguridad en un aprieto: tienen un robot que necesita aprender, pero no tienen forma de saber si sus nuevas herramientas de aprendizaje están funcionando realmente o si solo están empeorando las cosas. Necesitan una forma de medir el progreso sin una clave de referencia.

Este artículo aborda exactamente ese problema. Los autores proponen un ingenioso truco utilizando una configuración de "Profesor-Estudiante". En lugar de esperar a que un humano califique el trabajo del robot, utilizan un modelo de IA mucho más grande y capaz como "Profesor". Dejan que este Profesor califique el trabajo de un modelo "Estudiante" más pequeño. La idea es que si el Estudiante comienza a actuar más como el inteligente Profesor después de usar una nueva herramienta de aprendizaje, esa herramienta probablemente sea buena. El artículo sugiere que esta mejora "relativa al Profesor" es una señal confiable de que la herramienta también funcionaría bien con la retroalimentación humana real, incluso cuando no existen etiquetas humanas. Sin embargo, los autores también lanzan una fuerte advertencia: usar otro modelo de IA del mismo tamaño para juzgar el trabajo es una mala idea. Estos jueces de "misma fuerza" son demasiado sesgados; prefieren a los de su propia clase y no pueden ver cuando un estudiante ha mejorado realmente.

La Escuela de Robots y la Clave de Respuestas Faltante

Sumerjámonos en la historia del "Arnés de Aprendizaje". Imagina que tienes un joven robot aprendiz (el Estudiante) tratando de aprender a clasificar el correo. Es bastante bueno, pero no perfecto. Para ayudarlo a mejorar, le conectas un "Arnés de Aprendizaje". Esto no es una mejora mágica del cerebro; es más como una mochila llena de notas adhesivas. Cada vez que el robot comete un error, un humano (o en este caso, un robot más inteligente) escribe una nota en un bloque de notas explicando por qué estaba mal y cuál es la respuesta correcta. El robot luego consulta estas notas cuando se enfrenta a un problema nuevo y similar.

El problema es que, en el mundo real, los humanos están ocupados. Solo escriben estas notas cuando el robot comete un error realmente grave que causa una crisis. Esto significa que el robot recibe muy pocas notas y estas llegan en momentos aleatorios. Entonces, ¿cómo sabes si la mochila de notas está ayudando realmente al robot a aprender?

Normalmente, le darías al robot una prueba con una clave de respuestas. Pero en ciberseguridad, esa clave de respuestas aún no existe porque las amenazas son nuevas. No puedes esperar a tener una prueba perfecta; necesitas saber ahora si el sistema de aprendizaje funciona.

El Truco del Profesor-Estudiante

Los autores de este artículo idearon una solución brillante: La Hipótesis de Escalamiento. Piensa en esto como una familia de robots. Tienes un robot pequeño y junior (el Estudiante) y un robot gigante y senior (el Profesor) de la misma familia. Debido a que el robot senior es más grande y ha visto más datos, casi siempre es más inteligente.

Aquí está el experimento que realizaron:

Tomaron un montón de correos electrónicos y le pidieron al Profesor que los clasificara. Como el Profesor es tan inteligente, los autores trataron las respuestas del Profesor como la "verdad" (aunque no tenían una clave de respuestas humana).
Le dieron al Estudiante los mismos correos electrónicos.
Dejaron que el Estudiante cometiera errores, luego le dieron algunas "notas adhesivas" (correcciones) basadas en lo que el Profesor dijo que era correcto.
Observaron para ver si el Estudiante mejoraba su capacidad de coincidir con las respuestas del Profesor.

La gran pregunta era: ¿El hecho de mejorar al coincidir con el Profesor significa que el Estudiante está mejorando realmente en la tarea real?

Para averiguarlo, realizaron una prueba secreta. Tenían algunos correos electrónicos con claves de respuestas reales de humanos (el "Estándar de Oro") que mantuvieron ocultos durante el proceso de aprendizaje. Comprobaron si la mejora del Estudiante hacia el Profesor coincidía con su mejora hacia las respuestas humanas reales.

El Resultado: ¡Funcionó! El artículo encontró una conexión fuerte. Cuando el Estudiante aprendió a imitar al Profesor, también mejoró en la prueba humana real. Esto sugiere que si usas una IA superinteligente para calificar tu sistema de aprendizaje, y el sistema mejora, puedes estar seguro de que también mejoraría con la retroalimentación humana real. Es como decir: "Si mi estudiante comienza a pensar como mi profesor genio, es probable que esté aprendiendo algo valioso, incluso si todavía no tengo el examen final".

La Trampa del Juez de "Misma Fuerza"

Pero hubo un giro. Los autores también probaron una idea diferente que mucha gente utiliza: LLM-as-a-Judge (LLM como Juez). Esto es cuando le pides a un robot del mismo tamaño e inteligencia que el Estudiante que decida qué versión es mejor: la que tiene la mochila de aprendizaje o la que no la tiene.

Imagina pedirle a dos niños de 10 años que juzguen quién es mejor en matemáticas. Si uno de ellos tiene una clave de respuestas, ¿lo notará el otro? El artículo encontró que no, no lo notarían.

Cuando los autores usaron un juez de "misza fuerza", los resultados fueron un desastre:

Sesgo: Los jueces a menudo elegían la primera respuesta que veían, sin importar si era correcta o no.
Preferencia por sí mismos: Los jueces tendían a preferir las respuestas del robot que era como ellos (el que no tenía la mochila) y rechazaban la versión mejorada.
Fiabilidad: Cuando el juez acertaba, solo lo hacía aproximadamente la mitad de las veces (48% para algunos modelos, lo cual es básicamente lanzar una moneda al aire).

El artículo descarta explícitamente el uso de una IA del mismo tamaño como juez para este trabajo. Sugiere que un robot no puede reconocer de manera confiable cuándo otro robot de su mismo nivel ha mejorado. Es como pedirle a una persona que no sabe la respuesta que califique un examen; simplemente no pueden distinguir entre una buena suposición y una gran respuesta.

Lo Que Esto Significa para el Futuro

Los autores tienen cuidado de no decir que esto es una solución mágica que lo resuelve todo para siempre. Sugieren que este método de "Profesor-Estudiante" es una forma válida de medir las herramientas de aprendizaje cuando no se tienen etiquetas. Demostraron que cuanto mayor es la brecha de inteligencia entre el Profesor y el Estudiante, más confiable es la prueba. Si el Profesor es solo un poco más inteligente, la prueba se vuelve difusa.

También señalan que esto funciona mejor cuando las correcciones son "dispersas" y de "alta precisión", es decir, cuando solo se corrigen los errores realmente importantes, tal como ocurre en el mundo real.

Así que, la conclusión para el adolescente curioso es esta: En un mundo donde no siempre podemos obtener una clave de respuestas perfecta, podemos usar una IA "superinteligente" para calificar nuestras herramientas de aprendizaje. Si la herramienta ayuda al estudiante a actuar más como la IA superinteligente, es probable que sea una buena herramienta. Pero no le pidas a un IA promedio que califique a sus propios amigos; serán sesgados y no notarán la mejora. Esto le da a los equipos de seguridad una nueva forma de construir mejores robots de autoaprendizaje sin necesidad de una montaña de datos etiquetados por humanos.

Resumen Técnico: Evaluación de las Capacidades de los Arneses de Aprendizaje Agéntico sin Etiquetas mediante la Hipótesis de Escalamiento

1. Planteamiento del Problema

En la ciberseguridad operativa, los "arneses de aprendizaje continuo" (sistemas que emparejan Modelos de Lenguaje Extensos con recuperación o memoria para adaptarse mediante retroalimentación) son cada vez más vitales para defenderse contra amenazas que cambian rápidamente. Sin embargo, evaluar estos arneses es notoriamente difícil en entornos del mundo real debido a la escasez, obsolescencia y sesgo de los conjuntos de datos de referencia etiquetados.

Los métodos de evaluación tradicionales fallan en este contexto:

Benchmarks Etiquetados: A menudo no están disponibles, no son representativos o son demasiado dispersos para proporcionar una señal clara de la eficacia del arnés.
LLM-como-Juez (LLM-as-a-Judge): Falla cuando el modelo juez tiene una capacidad similar a la del agente evaluado. Un juez no puede identificar de manera confiable las mejoras que exceden su propio rendimiento base.
Destilación: La destilación estándar basada en ajuste fino (fine-tuning) o adaptadores es poco confiable cuando la retroalimentación humana es escasa, esporádica e irregularmente formada.

Consecuentemente, los profesionales carecen de un método riguroso para determinar si un arnés específico mejora el rendimiento de un modelo o para comparar diferentes diseños de arneses sin acceso a un conjunto de datos de "estándar de oro" etiquetado.

2. Metodología

Los autores proponen un marco fundamentado en la Hipótesis de Escalamiento para evaluar arneses de aprendizaje de extremo a extremo sin benchmarks etiquetados. La premisa central es que un "maestro" más fuerte puede proporcionar correcciones de alta precisión y esporádicas a un modelo "estudiante" más débil, y la convergencia del estudiante hacia el maestro sirve como un proxy de la mejora real.

Diseño Experimental

El estudio utiliza una configuración de tres modelos para cada tarea:

Maestro (Teacher): Un modelo más grande y fuerte de una familia específica (p. ej., GPT-4.1, Gemini Pro) que funciona sin un arnés.
Estudiante (Student): Un modelo más pequeño y débil de la misma familia (p. ej., GPT-4.1 Nano, Gemini Flash) que funciona sin un arnés.
Estudiante (Estudiante con Arnés):* El mismo modelo estudiante equipado con un arnés de aprendizaje continuo específico.

Procedimiento:

Pseudo-Etiquetado: El modelo Maestro genera predicciones para un gran grupo de muestras sin etiquetar, tratando estas como "pseudo-etiquetas".
Correcciones Esporádicas: El conjunto de datos se divide en rondas. En cada ronda, el modelo Estudiante* realiza predicciones. Una pequeña muestra aleatoria (hasta 5) de clasificaciones erróneas de "alto impacto" (donde el Estudiante* discrepa con el Maestro) se introduce como una corrección. Esto imita el ciclo de retroalimentación de alta precisión y esporádico de los analistas humanos en operaciones de seguridad.
Evaluación: Después de múltiples rondas, se mide el rendimiento del Estudiante original y del Estudiante* en un conjunto de prueba no visto utilizando dos métricas:
- $\Delta_G$ : Mejora relativa a las Etiquetas de Oro (usadas solo para la validación final).
- $\Delta_T$ : Mejora relativa a las Pseudo-Etiquetas del Maestro.

El marco pone a prueba si $\Delta_T$ se correlaciona con $\Delta_G$ . Si un arnés mejora la alineación del estudiante con el maestro, se asume que mejora la alineación del estudiante con la verdad fundamental (ground truth).

Configuraciones de los Arneses

El estudio evalúa tres diseños distintos de arneses:

Memoria (Memory): Recupera errores pasados como registros (fragmento de entrada, predicción incorrecta, etiqueta de corrección), similar a MemPrompt o Reflexion.
Few-shot: Recupera correcciones como ejemplares etiquetados (entrada $\to$ etiqueta correcta) para la generalización, sin mostrar el error.
Lección (Lesson): Una instancia separada del modelo estudiante reflexiona sobre un error para generar una "lección" corta y discriminativa (una regla de oro con pistas de "aplicar solo cuando") . Esto está diseñado para manejar casos límite donde la redacción o la intención invierte la etiqueta correcta.

Alcance

Los experimentos se realizaron a través de:

Tareas: PhishFuzzer (clasificación de correos electrónicos), CTIBench (atribución de CVE-a-CWE) y clasificación de tácticas de ATT&CK.
Modelos: Tres familias (Gemini, GPT, Qwen) con variantes pequeñas/grandes.
Condiciones: Tanto de la misma familia (Maestro/Estudiante de la misma familia) como de pares de distintas familias, siempre que el Maestro supere al Estudiante en la tarea base.

3. Resultados Clave

A. La Alineación con el Maestro se Correlaciona con la Verdad Fundamental

El hallazgo principal es una fuerte correlación positiva entre $\Delta_T$ (mejora relativa al maestro) y $\Delta_G$ (mejora relativa a las etiquetas de oro).

Validez: A través de tareas de seguridad, familias de modelos y diseños de arneses, los arneses que mejoraron la alineación del estudiante con el maestro también mejoraron la alineación con el estándar de oro.
Brecha de Capacidad: La correlación se mantiene tanto para pares de la misma familia como de familias distintas, siempre que exista una brecha de capacidad significativa. La validez del proxy depende de la magnitud de la brecha entre el estudiante y el maestro, no meramente de la arquitectura compartida.
Hipótesis de Escalamiento: En casos de discrepancia entre el estudiante y el maestro, el modelo maestro más grande fue correcto significativamente más a menudo que el estudiante más pequeño, validando la suposición de que el maestro sirve como una fuente de verdad confiable en ausencia de etiquetas.

B. Ineficacia de LLM-como-Juez

El estudio demuestra que usar un LLM de fuerza similar al agente como juez no produce ninguna señal útil:

Sesgo de Preferencia Propia: Los jueces de nivel de estudiante prefieren sistemáticamente sus propios resultados base sobre los resultados mejorados de un arnés, incluso cuando el resultado del arnés es correcto.
Baja Fiabilidad: Un juez de la misma fuerza mostró una fiabilidad contra la verdad fundamental de aproximadamente el 48% (cerca del azar), y cayó al 25% al comparar estudiante vs. maestro, lo que indica una incapacidad sistemática para reconocer el rendimiento por encima de su propio nivel base.
Sesgo de Posición: Los jueces exhibieron altas tasas de cambio de veredicto basadas en el orden de presentación cuando no podían distinguir la calidad.

4. Significado y Reivindicaciones

El artículo afirma proporcionar una solución práctica para que los operadores de seguridad evalúen y comparen los arneses de aprendizaje continuo en entornos operativos donde faltan las etiquetas de oro.

Proxy para la Retroalimentación Humana: Los autores argumentan que si un arnés produce una mejora mensurable respecto a un modelo más fuerte (Maestro) utilizando correcciones esporádicas, es muy probable que produzca ganancias similares cuando las correcciones provengan de analistas humanos. El arnés interactúa únicamente con las correcciones, no con la fuente (modelo o humano); por lo tanto, el mecanismo de mejora es transferible.
Utilidad Operativa: Este marco permite a los profesionales:
1. Determinar si un arnés ayuda en absoluto.
2. Comparar dos diseños de arneses diferentes para seleccionar el superior.
3. Evitar los problemas de "LLM-como-juez" cuando el agente ya es un modelo de frontera.
Limitaciones y Mitigaciones: Los autores reconocen que el proxy depende de una brecha de capacidad suficiente entre el estudiante y el maestro. Si la brecha es pequeña o ambos modelos desempeñan mal, la correlación se debilita. Sugieren utilizar la hipótesis de escalamiento (comparando modelos grandes vs. pequeños) y realizar comprobaciones puntuales con algunos ejemplos etiquetados para asegurar que el maestro es suficientemente competente antes de desplegar el proxy.

En conclusión, este trabajo establece que la mejora relativa al maestro es una métrica válida y sin necesidad de etiquetas para evaluar el valor de los arneses de aprendizaje agéntico en la ciberseguridad, ofreciendo una alternativa rigurosa a los benchmarks tradicionales en entornos dinámicos y con escasez de datos.