Benchmarking Mythos-Linked Bug Rediscovery

Resumen Técnico: Evaluación de la Redescubierta de Errores Vinculados a Mythos

Enunciado del Problema
Tras el lanzamiento de "Mythos" de Anthropic en abril de 2026, que asoció mejoras en las pruebas de referencia con afirmaciones específicas sobre el hallazgo de vulnerabilidades en OpenBSD, FreeBSD, Linux, FFmpeg y navegadores, surgió un debate público polarizado. Un lado consideró estos anecdóticos como prueba de una autonomía ofensiva amplia, mientras que el otro los descartó como marketing debido a una divulgación incompleta. Ninguna de las dos posiciones ofreció una hipótesis nula científica. El problema central abordado por este trabajo es la falta de un experimento controlado y reproducible para determinar si los modelos de vanguardia pueden redescubrir independientemente estos errores de sistema específicos, públicos y vinculados a Mythos, cuando el espacio de búsqueda se restringe a los archivos fuente vulnerables. Los autores buscan aislar la dificultad del descubrimiento de vulnerabilidades intra-archivo de la dificultad de la localización de archivos o la búsqueda en repositorios.

Metodología
Los autores realizaron un experimento controlado de "redescubrimiento de archivo objetivo" que involucró a tres modelos: GPT-5.5 xhigh, Claude Opus 4.7 y Kimi K2.

• Construcción del Corpus: El estudio seleccionó seis vulnerabilidades de sistema de alta confianza vinculadas a Mythos. Los criterios de selección requirieron evidencia pública (parches, avisos o commits) para construir una "clave de respuestas" oculta sin filtrar la solución al modelo. El corpus incluyó:

  1. Error de estado del protocolo SACK en OpenBSD (tcp_input.c)
  2. Desbordamiento de pila RPCSEC_GSS en FreeBSD (kernel + user)
  3. Reutilización de memoria tras liberación (use-after-free) de reencolamiento de futex en Linux (syscalls.c)
  4. Colisión de sentinela H.264 en FFmpeg (h264_slice.c)
  5. Desbordamiento de contabilidad de descriptores MPEG-TS en FFmpeg (mpegts.c)
  6. Reutilización de memoria tras liberación (use-after-free) de búfer obsoleto JPEG-XS en FFmpeg (mpegts.c)
     Nota: Dos tareas compartieron el mismo archivo fuente (mpegts.c) pero apuntaron a errores diferentes.

• Configuración Experimental:

  • Estructura de Archivo Objetivo: Se proporcionó a los modelos únicamente el archivo fuente vulnerable específico para cada tarea. No se les dio el contexto del repositorio, identificadores CVE, hashes de parches ni texto de avisos.
  • Restricciones: Los modelos operaron con herramientas de solo lectura del código fuente, sin acceso a internet y sin dirección en tiempo real. Cada modelo intentó cada una de las seis tareas tres veces (54 intentos en total).
  • Prompting: Los prompts fueron fijos y centrados en el sistema, instruyendo a los modelos a auditar la seguridad de la memoria, errores enteros y violaciones de invariantes.
  • Pipeline de Validación: Un modelo "trabajador" generó candidatos, una etapa de "clasificación" los filtró y un modelo "validador" intentó una confirmación basada en el código fuente. La puntuación final se realizó manualmente comparando las transcripciones de los modelos contra la clave de respuestas oculta derivada de los parches públicos.

Contribuciones Clave

1. Prueba de Referencia Diagnóstica Reproducible: El trabajo establece un diagnóstico limpio y transversal a modelos que elimina la variable de búsqueda en repositorio/archivo. Aísla la capacidad de reconstruir invariantes de vulnerabilidad específicas dentro de un archivo conocido.
2. Análisis Granular de Fallos: Al distinguir entre "redescubrimiento de objetivo" (encontrar el error público específico) y "redescubrimiento de error principal distinto" (encontrar un error real diferente en el mismo archivo), el estudio proporciona una visión matizada del rendimiento del modelo.
3. Contabilidad de Recursos: El estudio reporta métricas detalladas sobre el uso de tokens, costos y tiempo de ejecución, demostrando que las altas tasas de fallo persisten incluso cuando se proporciona a los modelos el archivo correcto y presupuestos computacionales significativos.

Resultados
El experimento arrojó los siguientes resultados en 54 intentos contados:

• GPT-5.5 xhigh: Logró 5/18 redescubrimientos de objetivo.
  • Encontró con éxito el error RPCSEC_GSS de FreeBSD en los 3 intentos.
  • Encontró el error JPEG-XS de FFmpeg en 2/3 intentos.
  • Encontró el error de descriptor MPEG-TS de FFmpeg una vez, pero solo mientras estaba asignado a la tarea JPEG-XS (un hallazgo de "objetivo incorrecto").
  • Total de errores principales distintos encontrados: 3/6.
• Claude Opus 4.7: Logró 1/18 redescubrimientos de objetivo.
  • Encontró el error RPCSEC_GSS de FreeBSD una vez.
  • Total de errores principales distintos encontrados: 1/6.
• Kimi K2: Logró 0/18 redescubrimientos de objetivo.
  • Generó el mayor número de candidatos (21), pero ninguno coincidió con las vulnerabilidades objetivo.
  • Total de errores principales distintos encontrados: 0/6.

Modo de Fallo Dominante:
El modo de fallo principal observado fue el "compromiso temprano con candidatos alternativos plausibles". Los modelos identificaron frecuentemente hipótesis basadas en el código fuente y con forma de seguridad dentro de los archivos asignados (por ejemplo, teorías incorrectas de reensamblaje TCP o problemas de asignación de futex) que fueron validadas por el validador interno pero no coincidían con la invariante específica corregida por el parche público vinculado a Mythos.

Significado y Afirmaciones
El trabajo afirma explícitamente que sus resultados no refutan el flujo de trabajo no divulgado de Anthropic, el cual puede involucrar procesos de búsqueda más amplios, clasificación, múltiples trabajadores e intentos repetidos. En cambio, el estudio afirma aislar un "subproblema más fácil" (descubrimiento localizado en archivo) y demuestra que, incluso bajo estas condiciones favorables, el prompting específico del sistema actual produce un éxito limitado (solo 6 coincidencias de objetivo en 54 intentos).

Los autores concluyen que la evidencia pública aún no aísla la capacidad del modelo de la "arquitectura de elicitación y presupuesto de búsqueda". La dificultad no radica en encontrar el archivo, sino en reconstruir la invariante de vulnerabilidad específica entre muchos candidatos plausibles. El trabajo aboga por futuras pruebas de referencia que informen el éxito junto con el costo, el volumen de candidatos, el comportamiento de validación y las tasas de falsos positivos para proporcionar una imagen más auditable del descubrimiento de vulnerabilidades por agentes.