🤖 AI

Builder, Defender, Breaker: The Case Against Removing the Human from the AI-Driven Security Lifecycle

Este artículo sostiene que eliminar a los humanos del ciclo de vida de la seguridad impulsado por la IA es fundamentalmente erróneo porque elimina la independencia necesaria entre las funciones de construcción, defensa y prueba, creando así puntos ciegos compartidos, erosionando la rendición de cuentas y dejando los sistemas vulnerables a la explotación adversarial predecible.

Autores originales: Mohamed Chahine Ghanem

Publicado 2026-07-07

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Mohamed Chahine Ghanem

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un proyecto de construcción de alto riesgo donde necesitas construir una fortaleza, guardarla y luego intentar irrumpir en ella para encontrar puntos débiles. En el pasado, contratabas a tres equipos diferentes para estas tareas: los Constructores, los Defensores y los Rompedores.

El artículo argumenta que actualmente nos estamos apresurando a reemplazar a todos estos equipos humanos con un solo robot inteligente y superdotado. La idea es que si este robot puede escribir código, también puede revisar su propio trabajo e intentar hackear su propia creación. El autor, Mohamed Chahine Ghanem, dice que esto suena eficiente, pero en realidad es una trampa peligrosa.

Aquí está el desglose de por qué eliminar a los humanos de este proceso es una mala idea, utilizando analogías simples:

1. El problema del "Cerebro Único" (El Monocultivo)

Imagina que la persona que diseñó la fortaleza, la persona que guarda las puertas y la persona que intenta forzar las cerraduras fueran clones de la misma persona. Todos fueron a la misma escuela, leyeron los mismos libros y piensan exactamente de la misma manera.

El Riesio: Si ese único "cerebro" tiene un punto ciego (un error que no sabe cómo cometer), todos los tres roles tendrán ese mismo punto ciego.
El Resultado: El Constructor comete un error. El Defensor (que piensa como el Constructor) no lo ve. El Rompedor (que también piensa como el Constructor) no sabe cómo encontrarlo. El fallo se filtra por las grietas porque todos están mirando el mundo a través del mismo par de gafas. El artículo llama a esto un "monocultivo algorítmico".

2. El problema de "Calificar tu propia tarea" (El Oráculo)

En la escuela, si escribes un ensayo y luego te calificas a ti mismo, es probable que te des una puntuación alta porque sabes lo que quisiste decir, incluso si no lo dijiste con claridad. Tienes un sesgo hacia tu propio trabajo.

El Riesgo: Cuando una IA escribe código y luego escribe los casos de prueba para verificar ese código, esencialmente está calificando su propia tarea. Revisa si el código coincide con sus propias expectativas, no si el código realmente funciona en el mundo real.
El Resultado: El sistema se convierte en un bucle cerrado donde solo confirma lo que ya cree. Pierde la capacidad de encontrar errores reales porque carece de un "maestro" independiente (un humano) que diga: "Espera, eso no tiene sentido".

3. La "Trampa de Velocidad" (Desplazarse fuera del bucle)

Imagina un piloto de carreras de Fórmula 1 que es tan rápido que el oficial de seguridad humano no puede seguirle el ritmo. Al principio, el oficial observa el coche. Luego, el coche va tan rápido que el oficial solo puede ver un resumen después. Finalmente, el coche es tan rápido que el oficial es solo un pasajero que recibe un informe después del choque.

El Riesgo: La IA trabaja a velocidad de máquina. Si una IA encuentra un error y lo corrige en segundos, un humano no puede detenerse a verificarlo sin ralentizar todo el proceso. Así, empezamos a eliminar el botón de "parada" humano.
El Resultado: Los humanos pasan de estar "dentro del bucle" (tomando decisiones) a estar "en el bucle" (observando) y finalmente "fuera del bucle" (solo observando los resultados). Para cuando un humano se da cuenta de que algo anda mal, la IA ya ha cometido miles de errores.

4. El "Objetivo Predecible" (El Adversario)

La seguridad es un juego del gato y el ratón. Si el ratón (el defensor) siempre piensa de la misma manera, el gato (el hacker) aprende exactamente cómo atraparlo.

El Riesgo: Si se utiliza el mismo modelo de IA para construir, defender y probar, todo el sistema se vuelve predecible. Un hacker solo necesita averiguar cómo engañar a un tipo de IA, y podrá engañar a todo el sistema.
El Resultado: Es como construir un castillo con un solo tipo de cerradura. Una vez que un ladrón abre esa cerradura, todo el castillo cae. El artículo señala que, en pruebas del mundo real, los sistemas de IA que eran excelentes hackeando otras máquinas fallaron estrepitosamente cuando se enfrentaron a humanos que podían pensar de forma creativa e impredecible.

5. El Problema de "No hay a quién culpar" (La Responsabilidad)

Si un constructor humano comete un error, puedes preguntarle: "¿Por qué hiciste eso?" y hacerlo responsable. Si una máquina comete un error, ¿a quién le preguntas?

El Riesico: Si una IA construye, defiende y se prueba a sí misma, y algo sale mal (como una brecha de seguridad masiva), no hay un humano a quien pedir cuentas. La máquina no "eligió" fallar; simplemente siguió su código.
El Resultado: Esto crea un vacío de responsabilidad. Sin un humano que dé el visto bueno al trabajo, el sistema pierde la disciplina que proviene de saber que tienes que responder por tus acciones.

La Solución: Mantener al Humano en el Asiento del Conductor

El artículo no dice que debamos dejar de usar la IA. De hecho, la IA es excelente realizando el trabajo pesado, escribiendo código rápidamente y encontrando errores obvios.

Sin embargo, el autor sostiene que los humanos deben seguir siendo la "Cabeza" de la operación.

La IA debe ser las manos y los ojos (haciendo el trabajo).
El Humano debe ser el cerebro que proporciona el juicio independiente.

Necesitamos que los humanos sean el "oráculo externo" (el maestro que califica la tarea), el "disyuntor" (el que puede presionar el botón de parada de emergencia) y la persona que asume la responsabilidad. Si eliminamos al humano por completo, no solo estamos automatizando un trabajo; estamos rompiendo el sistema de seguridad que mantiene seguro el mundo digital.

Resumen Técnico: Constructor, Defensor, Rompedor: El caso contra la eliminación del humano en el ciclo de vida de la seguridad impulsado por la IA

Planteamiento del problema
El artículo aborda la tendencia emergente en la ciberseguridad donde una única familia de modelos de IA generativa se despliega cada vez más para desempeñar los tres roles críticos del ciclo de vida de la seguridad: construir (generación de código), defender (detección de intrusiones y endurecimiento) y romper (descubrimiento de vulnerabilidades y fuzzing). Si bien la asistencia parcial de la IA es ampliamente aceptada, la narrativa predominante sugiere que la autonomía total —eliminar al humano del bucle por completo— es el punto final natural. El autor sostiene que esta transición de la asistencia parcial a la autonomía total representa un cambio cualitativo, no meramente uno cuantitativo. El problema central es que cuando el constructor, el defensor y el rompedor provienen de la misma distribución generativa (una "monocultura algorítmica"), heredan un conjunto compartido de puntos ciegos. Esta convergencia colapsa la independencia requerida para una verificación significativa, crea un objetivo predecible para los adversarios y disuelve el locus de la responsabilidad.

Metodología y base de evidencia
El artículo emplea un análisis conceptual y de evidencia en lugar de presentar nuevos datos experimentales. Sintetiza hallazgos de cuatro dominios distintos para construir su argumento:

Generación autónoma de código: Citando estudios sobre GitHub Copilot y análisis formales de modelos que generan programas en C, el artículo destaca que los modelos reproducen los patrones de inseguridad de sus datos de entrenamiento, con altas tasas de vulnerabilidad (40–62%) que son consistentes entre diferentes modelos entrenados en corpus similares.
Aprendizaje automático adversarial: El análisis se basa en taxonomías del NIST e investigaciones que muestran que los detectores entrenados en distribuciones específicas pueden ser evadidos o envenenados. Enfatiza que un defensor que comparte la misma distribución que el código que protege será ciego ante los mismos casos límite.
Tolerancia a fallos de software: El artículo hace referencia al fallo de la programación de N-versiones (donde las implementaciones escritas independientemente fallaron en los mismos inputs con más frecuencia de lo esperado) para argumentar que los modelos de IA entrenados en datos similares exhibirán modos de fallo correlacionados, haciendo que la redundancia sea ineficaz.
Torneos de hacking autónomos: Se extrae evidencia de la DARPA Cyber Grand Challenge de 2016 y del AI Cyber Challenge de 2025. Aunque estos sistemas demostraron un alto éxito en la detección y el parcheo de vulnerabilidades sin intervención humana, el artículo utiliza estos resultados para ilustrar el fenómeno de "bucle cerrado", donde las herramientas que prueban el sistema son de la misma naturaleza que el sistema que se prueba.

Contribuciones y argumentos clave
El artículo articula cuatro peligros primarios asociados con un ciclo de vida de la seguridad totalmente autónomo y dirigido por IA:

Fallo correlacionado y el problema de la monocultura: En un ciclo de vida tradicional, la independencia entre las etapas (constructor, defensor, probador) garantiza que si uno falla, otro detecte el error. En una monocultura de IA, todas las etapas comparten los mismos priors y datos de entrenamiento. En consecuencia, una vulnerabilidad que el constructor no logra generar es también una vulnerabilidad que el defensor no logra detectar y que el probador no logra rastrear. Esto crea un "conjunto de puntos ciegos" ( $\mathcal{B}$ ) que atraviesa todo el ciclo de vida sin ser visto.
El problema del Oráculo: La verificación requiere un oráculo independiente. Cuando la IA genera código y la IA genera pruebas para ese código, la suite de pruebas hereda las mismas suposiciones que el código. El artículo argumenta que esto equivale a "corregir la propia tarea", donde el sistema confirma sus propias expectativas en lugar de verificar la corrección contra el mundo real. Además, se muestra que la supervisión humana es ineficaz; los estudios indican que los humanos que utilizan asistentes de IA producen código menos seguro mientras reportan una mayor confianza en él.
Explotación adversaria de la uniformidad: La seguridad es inherentemente adversaria. Un pipeline de IA homogéneo ofrece un objetivo uniforme y predecible. Los adversarios pueden explotar esto mediante la creación de ataques (evasión o envenenamiento) que se transfieren a través de toda la monocultura porque los modelos comparten gradientes estructurales. Adicionalmente, la naturaleza de doble uso de las herramientas autónomas significa que un sistema capaz de encontrar y parchear vulnerabilidades es inherentemente capaz de explotarlas, sin un "interruptor de circuito" humano que impida que la herramienta sea redirigida contra objetivos reales.
El vacío de responsabilidad: La autonomía total crea una "brecha de responsabilidad". Si un ciclo de vida autónomo lanza una vulnerabilidad o causa una interrupción del servicio, no hay un principal a quien rendir cuentas. El artículo señala que los marcos de gobernanza como la Ley de IA de la UE requieren explícitamente la supervisión humana para sistemas de alto riesgo, reconociendo que la responsabilidad no puede delegarse a una máquina. Eliminar al humano elimina el mecanismo por el cual el ciclo de vida es sometido a estándares.

Resultados y afirmaciones
El artículo no afirma que la IA carezca de utilidad; reconoce que los sistemas autónomos han identificado con éxito vulnerabilidades de día cero y parcheado fallos en entornos competitivos (por ejemplo, el AI Cyber Challenge de 2025). Sin embargo, la afirmación central del artículo es que la autonomía total es una trampa para el ciclo de vida de la seguridad. Los resultados de los torneos autónomos demuestran capacidad, pero también revelan fragilidad: cuando los sistemas autónomos se enfrentaron a adversarios humanos en el torneo DEF CON Capture-the-Flag, tuvieron un desempeño deficiente, sugiriendo que el razonamiento a velocidad de máquina carece de la adaptabilidad requerida para el razonamiento adversarial complejo.

El artículo concluye que el papel del humano en el ciclo de vida de la seguridad no es un andamio temporal para ser eliminado a medida que los modelos mejoren, sino un requisito estructural permanente. El humano proporciona la independencia necesaria, el oráculo externo, la capacidad de intervenir a la velocidad de la máquina y el locus de la responsabilidad.

Significancia
La significancia de este trabajo radica en su desafío a la narrativa de la "autonomía total" en la ciberseguridad. Argumenta que la división del trabajo entre humanos y máquinas debe preservarse no para limitar la velocidad, sino para mantener las propiedades fundamentales de la seguridad: independencia, verificación y responsabilidad. El artículo propone una división del trabajo defendible donde:

Las rutas de construcción y prueba utilicen fuentes independientes (diferentes modelos/datos) para prevenir fallos correlacionados.
Los humanos retengan la autoridad "en el bucle" (on-the-loop) con la capacidad de intervenir eficazmente a velocidades de máquina.
Se mantenga la procedencia y la supervisión independiente (registros de auditoría, red-teaming de terceros).
Se preserven las habilidades de la fuerza laboral para evitar el "desaprendizaje" (deskilling), asegurando que los humanos sigan siendo capaces de ejercer su autoridad.

En última instancia, el artículo afirma que, si bien las máquinas pueden usar los sombreros de Constructor, Defensor y Rompedor, la "cabeza" que responde por ellas debe seguir siendo humana.