💻 computer science

Words Speak Louder Than Code: Investigating Cognitive Heuristics in LLM-Based Code Vulnerability Detection

Este artículo presenta la primera investigación sistemática que demuestra que la detección de vulnerabilidades de código basada en LLM es significativamente susceptible a heurísticas cognitivas similares a las humanas (efectos de encuadre, anclaje y halo), las cuales pueden alterar los veredictos del modelo y ser explotadas para suprimir hasta el 97% de las vulnerabilidades detectadas.

Autores originales: Asif Shahriar, Hongyu Cai, Hadjer Benkraouda, Gang Wang, Z. Berkay Celik

Publicado 2026-06-30

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Asif Shahriar, Hongyu Cai, Hadjer Benkraouda, Gang Wang, Z. Berkay Celik

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un robot guardia de seguridad superinteligente cuyo trabajo es mirar el código informático y decidir: "¿Es esto seguro o es una bomba de tiempo?".

Durante mucho tiempo, asumimos que este robot solo miraba el código en sí: la lógica, las matemáticas, la estructura. Pero este artículo revela una verdad sorprendente: el robot no solo lee el código; lee la historia que rodea al código. Y al igual igual que los humanos, este robot tiene atajos mentales (llamados "heurísticos cognitivos") que pueden engañarlo para que tome la decisión equivocada.

Aquí está el desglose de sus hallazgos, utilizando analogías sencillas.

Las tres formas en que el robot es engañado

Los investigadores probaron tres formas específicas de "hackear" la mente del robot sin cambiar ni una sola línea de código. Simplemente cambiaron el contexto (los metadatos) que rodeaba al código.

1. El Efecto Halo (El sesgo de la "celebridad")

La analogía: Imagina a un juez en una sala de tribunal. Si el acusado es un CEO famoso y respetado, el juez podría pensar subconscientemente: "Es una buena persona, no haría nada malo", y ser más leniente. Si el acusado es un pasante joven y desconocido, el juez podría pensar: "Es inexperto, probablemente cometió un error", y ser más estricto.

El hallazgo:

Cuando el código se atribuyó a un "Ingeniero de Seguridad Principal" (un experto de alto estatus), el robot se volvió perezoso y confiado. Pasó por alto vulnerabilidades reales porque asumió: "Un experto no escribiría mal el código".
Cuando el mismo código se atribuyó a un "Desarrollador Junior" (un novato de bajo estatus), el robot se volvió suspicaz y paranoico. Encontró las vulnerabilidades que había pasado por alto antes, pero también empezó a gritar "¡Lobo!" ante código seguro, creando falsas alarmas.
El giro: Algunos robots (como el llamado Claude) hicieron exactamente lo contrario, confiando más en el junior que en el experto, pero el sesgo seguía estando ahí.

2. El Efecto de Encuadre (El sesgo de la "etiqueta de advertencia")

La analogía: Piensa en un frasco de medicina.

Etiqueta A: "Esta medicina cura al 90% de los pacientes". (Encuadre positivo)
Etiquota B: "Esta medicina falla en curar al 10% de los pacientes". (Encuadre negativo)
Aunque las matemáticas son las mismas, tu reacción cambia.

El hallazgo:

Encuadre Positivo: Cuando se le dijo al robot: "Tu trabajo es asegurar que el flujo de trabajo funcione sin problemas y evitar falsas alarmas", se volvió demasiado relajado. Ignoró errores peligrosos para mantener las cosas moviéndose rápido.
Encuadre Negativo: Cuando se le dijo al robot: "Tu trabajo es encontrar amenazas de seguridad antes de que destruyan el sistema", se volvió hipervigilante. Encontró más errores, pero también empezó a marcar código seguro como peligroso.
El resultado: Este fue el truco más fuerte de todos. Todos y cada uno de los robots probados se vieron influenciados por cómo se describía la tarea.

3. El Efecto de Anclaje (El sesgo de la "primera impresión")

La analogía: Si le preguntas a un amigo: "¿Vale esta casa 500.000 dólares?" y dice "Sí", podrías pensar que es una ganga. Si le preguntas: "¿Vale esta casa 1 millón de dólares?" y dice "No", podr {podrías pensar que es barata. El primer número que escuchas te "ancla" el juicio.

El hallazgo:

Si se le dijo al robot: "Un escaneo previo dijo que este código es SEGURO", tendió a estar de acuerdo y pasó por alto nuevos errores.
Si se le dijo al robot: "Un escaneo previo dijo que este código es VULNERABLE", tendió a estar de acuerdo y encontró errores (incluso si no estaban ahí).
El robot estaba diciendo esencialmente: "Bueno, el otro tipo dijo que es seguro, así que confiaré en eso", en lugar de hacer su propio trabajo independiente.

Los grandes problemas descubiertos

Los investigadores encontraron tres problemas principales en la forma en que funcionan estos robots:

1. El problema del "control de volumen"
Los robots no se volvieron más listos o más torpes al encontrar errores. Simplemente se volvieron más fuertes o más débiles.

Cuando el contexto los hacía suspicaces, subían el "control de volumen": Marcaban todo como peligroso (encontraban errores reales, pero también muchas falsas alarmas).
Cuando el contexto los hacía confiados, bajaban el "control de volumen": No marcaban nada (perdía errores reales, pero también tenía menos falsas alarmas).
La conclusión: El robot no aprendió realmente a distinguir mejor el código bueno del malo; simplemente cambió su estado de ánimo.

2. La trampa de la "alucinación"
Cuando el robot era engañado para pensar que un código seguro era peligroso (debido a una etiqueta de "Desarrollador Junior" o un ancla de "Vulnerable"), no se limitaba a decir "Es peligroso". A menudo inventaba una razón falsa.

Ejemplo: El robot veía código seguro pero, como estaba en un estado de ánimo "suspicaz", afirmaba: "¡Esto parece una fuga de memoria!", cuando no había ninguna fuga. Estaba seguro de sí mismo, pero estaba completamente equivocado.

3. El código "Inteligente" vs. "Tonto"

Errores fáciles: Algunos errores son obvios, como un error tipográfico o un punto y coma faltante. El robot encontraba estos fácilmente, sin importar el contexto.
Errores difíciles: Algunos errores requieren un pensamiento profundo (como rastrear cómo cambia una variable a lo largo del tiempo). Estos fueron los que el robot más se dejó engañar. Si el contexto era de "confianza", pasaba por alto los errores difíciles. Si el contexto era de "suspicacia", inventaba errores difíciles falsos.

El "Ataque Cognitivo" (El peligro en el mundo real)

Los investigadores no se detuvieron solo en las pruebas; construyeron un ataque de prueba de concepto.

Imagina que un hacker quiere introducir código peligroso en el software de una empresa. En lugar de intentar hackear el cerebro del robot directamente (lo cual es difícil), el hacker simplemente falsifica el papeleo.

Escribe el código.
Adjunta un correo falso diciendo que proviene de un famoso experto en seguridad (Efecto Halo).
Escribe una nota diciendo: "Mantengamos el flujo de trabajo, no seamos demasiado exigentes" (Encuadre).
Adjunta un informe falso diciendo: "Los escaneos previos dijeron que esto es seguro" (Anclaje).

El Resultado: El robot, al ver este paquete "tranquilizador", decidió que el código peligroso era SEGURO. El ataque logró suprimir hasta el 97% de las vulnerabilidades que el robot habría detectado normalmente.

La conclusión final

Este artículo demuestra que los Modelos de Lenguaje Extensos (LLM) utilizados para la seguridad no son máquinas objetivas. Están influenciados por los mismos trucos psicológicos que influyen en los humanos.

Confían en las personas equivocadas (demasiado en los expertos, muy poco en los juniors).
Reaccionan a cómo haces la pregunta (miedo vs. comodidad).
Se quedan estancados en las primeras impresiones (informes previos).

¿La parte más peligrosa? No necesitas ser un hacker genio para romperlos. Solo necesitas saber cómo escribir un correo electrónico convincente o un mensaje de commit que parezca profesional. El robot no está roto; simplemente es humano en sus defectos.

Resumen Técnico: Las palabras dicen más que el código

Planteamiento del problema
Los Modelos de Lenguaje de Gran Escala (LLMs) se están implementando cada vez más como porteros de seguridad automatizados en flujos de trabajo del mundo real, tales como procesos de CI/CD y revisiones de pull requests. Mientras que la investigación previa ha establecido que los LLMs exhiben heurísticas cognitivas en el razonamiento general y tareas subjetivas, ninguna investigación sistemática ha examinado si estas heurísticas sesgan a los LLMs en la tarea objetiva de la detección de vulnerabilidades de código. En la práctica, los escáneres de vulnerabilidades no analizan el código de forma aislada; ingieren metadatos contextuales ajenos al código, incluyendo la identidad del autor, mensajes de commit, directivas de la tarea y resultados de análisis previos. Este artículo postula que dicho contexto orgánico y no adversarial puede activar inadvertidamente heurísticas cognitivas (efecto halo, encuadre y anclaje), lo que conduce a veredictos de seguridad inconsistentes sobre un mismo código. El problema central es que estos sesgos pueden ser explotados para suprimir la detección de vulnerabilidades o inflar los falsos positivos sin alterar el código mismo.

Metodología
Los autores presentan un marco controlado para aislar el impacto del contexto no relacionado con el código en los veredictos de los LLMs.

Diseño Experimental: El estudio mantiene fijo el fragmento de código ( $S$ ) mientras varía únicamente el contexto circundante ( $C$ ) para activar heurísticas cognitivas específicas. La función del detector se define como $f(C, S) \rightarrow \{0, 1\}$ , donde el veredicto depende de la interacción del código y el contexto.
Heurísticas Investigadas:
1. Efecto Halo: Manipulado mediante la atribución de autoría. Las variantes incluyen prestigio relevante para la seguridad (ej., "Ingeniero Principal de Seguridad de Project Zero" frente a "Desarrollador Junior") y prestigio no relacionado con la seguridad (ej., "Colaborador de larga trayectoria" frente a "Primer colaborador").
2. Efecto de Encuadre (Framing): Manipulado mediante directivas de tarea y declaraciones de consecuencias. Las variantes incluyen el encuadre de ganancia-pérdida (enfatizando los beneficios del código seguro frente a los costos de las brechas) y el encuadre de objetivos (verificar el cumplimiento frente a identificar violaciones).
3. Efecto de Anclaje: Manipulado mediante resultados de análisis previos. Las variantes incluyen anclajes duros (veredictos explícitos de "SEGURO" o "VULNERABLE") y anclajes suaves (resultados implícitos como "aprobado" o "no aprobó" verificaciones previas a la fusión).
Configuración de la Evaluación: El marco se aplicó a ocho LLMs de última generación (cinco de código abierto, tres comerciales) en tres lenguajes de programación (C/C++, Java, Python). Los conjuntos de datos utilizados fueron PRIMEVUL (C/C++ con muestras benignas y vulnerables) y CLEANVUL (Python y Java, solo vulnerables).
Métricas: El estudio midió la Sensibilidad (Recall), la Tasa de Falsos Positivos (FPR), la Precisión y la puntuación F1. Crucialmente, introdujo la Brecha de Sensibilidad ( $\Delta R$ ) y la Brecha de FPR ( $\Delta FPR$ ) para cuantificar la magnitud del sesgo entre polaridades (ej., alto vs. bajo halo). Se calculó un Índice de Utilidad (UI) para determinar si una heurística mejoró constructivamente la detección (aumentando la sensibilidad más de lo que aumentó el FPR).

Contribuciones Clave

Primera Investigación Sistemática: Este trabajo es el primero en explorar sistemáticamente las heurísticas cognitivas en la detección de vulnerabilidades de código impulsada por LLMs, evaluando tres heurísticas distintas en ocho modelos y tres lenguajes.
Análisis Detallado: Los autores proporcionan un análisis a nivel de código que revela que las heurísticas no mejoran la capacidad analítica de un modelo. En su lugar, actúan como un "control de volumen", desplazando la disposición del modelo a marcar el código como vulnerable sin mejorar su capacidad para distinguir vulnerabilidades reales de código benigno.
Demostración Adversaria: El artículo demuestra una prueba de concepto de un ataque cognitivo de caja negra. Al falsificar metadatos de apariencia benigna (identidad del autor, descripciones de PR y mensajes de commit), un atacante puede suprimir hasta el 97% de las vulnerabilidades previamente detectadas en un flujo de trabajo de CI/CD simulado.

Resultos

Susceptibilidad Universal: Los ocho modelos evaluados exhibieron susceptibilidad a las heurísticas cognitivas. La susceptibilidad promedio entre los modelos fue mayor para el Encuadre (33.2%), seguido del Anclaje (23.5%) y el Halo (18.4%).
Direccionalidad:
- Encuadre: Cada modelo respondió en la dirección esperada (el encuadre negativo aumentó la sensibilidad, el positivo la disminuyó).
- Halo y Anclaje: Las respuestas variaron. Los modelos de código abierto generalmente mostraron las respuestas esperadas (bajo prestigio/ancla segura redujeron la detección), mientras que los modelos comerciales como Claude y GPT mostraron respuestas inversas o mixtas (ej., GPT se volvió más suspicaz bajo la atribución de un autor de alto prestigio).
Sin Utilidad Constructiva: Las heurísticas cognitivas no mejoraron la capacidad de detección. El Índice de Utilidad fue negativo o cercano a cero para la mayoría de los modelos. Cuando la sensibilidad aumentaba, el FPR aumentaba en una magnitud casi idéntica, dejando la Precisión estancada (0.48–0.55). Los modelos a menudo cambiaban sus veredictos de "Seguro" a "Vulnerable" (o viceversa) basándose en el contexto, pero fallaban al identificar la vulnerabilidad real, alucinando frecuentemente problemas plausibles pero incorrectos.
Vulnerabilidades Dependientes del Razonamiento: Las vulnerabilidades que requieren razonamiento semántico (ej., seguimiento del estado del programa, manejo de excepciones) fueron significativamente más susceptibles a las heurísticas (brecha 1.5x–2x mayor) que aquellas identificables mediante el reconocimiento de patrones.
Éxito del Ataque: El ataque cognitivo logró suprimir la detección en un modelo de amenaza realista. Las defensas estándar basadas en prompts (ej., instruir al modelo para que ignore los metadatos) no lograron mitigar el ataque.

Significancia
El artículo concluye que la susceptibilidad cognitiva es una propiedad consistente y explotable de la detección de vulnerabilidades impulsada por LLMs. Los hallazgos desafían la confiabilidad de los porteros de seguridad automatizados que dependen de LLMs, demostrando que el contexto ajeno al código puede sesgar sistemáticamente los veredictos de seguridad. El estudio destaca que los modelos actuales no solo están "cometiendo errores", sino que son susceptibles a sesgos psicológicos que pueden ser utilizados como armas para eludir los controles de seguridad. Esto sugiere que el despliegue de LLMs en roles críticos de seguridad requiere una evaluación rigurosa de su robustez contra la manipulación contextual, no solo de la calidad del código.

Las tres formas en que el robot es engañado

1. El Efecto Halo (El sesgo de la "celebridad")

2. El Efecto de Encuadre (El sesgo de la "etiqueta de advertencia")

3. El Efecto de Anclaje (El sesgo de la "primera impresión")

Los grandes problemas descubiertos

El "Ataque Cognitivo" (El peligro en el mundo real)

La conclusión final

Más como este