💻 computer science

Do Machines Struggle Where Humans Do? LLM and Human Comprehension of Obfuscated Code

Este artículo evalúa si los modelos de lenguaje de gran tamaño comparten modos de falla humanos al comprender código ofuscado, encontrando que los modelos ajustados para el razonamiento se alinean significativamente con los patrones de dificultad humanos a través de varios niveles de ofuscación, mientras que los modelos ajustados para instrucciones no lo hacen.

Autores originales: Jack Le, Anh H. N. Nguyen, Tien N. Nguyen

Publicado 2026-07-01

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jack Le, Anh H. N. Nguyen, Tien N. Nguyen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando resolver un rompecabezas. Ahora, imagina que alguien toma ese rompecabezas y hace dos cosas con él:

Renombra las piezas: En lugar de "Rey", "Reina" y "Peón", las piezas de ajedrez se etiquetan como "X", "Y" y "Z". O peor aún, el "Rey" es etiquetado como "Peón" para engañarte.
Desordena las instrucciones: En lugar de un camino claro como "Avanza, luego gira a la izquierda", las instrucciones se dividen en pasos diminutos y desconectados que requieren un mapa complejo para determinar el orden.

Esto es lo que la ofuscación de código le hace a los programas informáticos. Mantiene el programa funcionando exactamente igual, pero lo hace increíblemente difícil de leer y entender para los humanos.

Este artículo plantea una pregunta simple pero profunda: ¿Los modelos de IA (Modelos de Lenguaje Extensos) tienen dificultades con estos rompecabezas desordenados de la misma manera que los humanos? ¿O fallan de una manera completamente diferente y misteriosa?

Aquí está el desglose de sus hallazgos, utilizando analogías de la vida cotidiana:

1. La IA "Inteligente" vs. La IA "Entrenada"

Los investigadores probaron diferentes tipos de modelos de IA. Piensa en ellos como diferentes tipos de estudiantes:

Los modelos de "Código/Instrucción": Estos son como estudiantes que han memorizado un libro de texto masivo de ejemplos de código. Son excelentes detectando patrones (como ver la palabra "print" y saber qué hacer). Pero cuando desordenas el rompecabezas, se confunden porque su "detección de patrones" se rompe. Realmente no entienden por qué el código funciona; solo saben cómo se ve usualmente.
Los modelos de "Razonamiento": Estos son como estudiantes a los que se les ha enseñado cómo pensar. No solo memorizan; intentan trabajar a través de la lógica paso a paso.

El Gran Hallazgo: Los modelos de "Razonamiento" tuvieron dificultades con los rompecabezas desordenados exactamente de la misma manera que lo hicieron los humanos. Cuando el rompecabezas se volvía más difícil (más ofuscado), tanto los humanos como las IA de razonamiento se volvían más lentos y cometían más errores. Los modelos de "Código", sin embargo, no les importaba tanto la dificultad; simplemente fallaban aleatoriamente o no mostraban mayor dificultad, lo que demuestra que no estaban realmente "pensando" en el problema como lo haría un humano.

2. La trampa del "Error Confiado"

Una de las partes más interesantes del estudio involucra un truco específico llamado Renombrado Adversario.

El Escenario: Imagina que una función que calcula una tasa de impuestos se llama calculate_tax. El ofuscador cambia el nombre a calculate_bonus.
La Reacción Humana: Un programador humano ve "bonus" y piensa: "Espera, eso no tiene sentido para un impuesto", pero aun así podría confundirse si la lógica del código es desordenada.
La Reacción de la IA: Las IA de "Razonamiento" a veces cayeron en la trampa. Vieron la palabra "bonus", asumieron que el código trataba sobre dar dinero y dieron una respuesta incorrecta con total confianza.

El artículo encontró que este "error confiado" solo ocurría cuando dos cosas sucedían al mismo tiempo: el nombre era engañoso Y la estructura del código era confusa. Es como si alguien te entregara un mapa de una ciudad pero etiquetara el "Hospital" como "Lugar de Pizza", y las calles fueran bucles de un solo sentido. Confiadamente conducirías hacia el "Lugar de Pizza" (el Hospital) y te perderías.

3. El medidor de "Tiempo de Pensamiento"

Los investigadores observaron cuánto "pensó" la IA antes de responder. Midieron esto contando el número de palabras que la IA generaba en su "Cadena de Pensamiento" (su monólogo interno).

El Paralelo Humano: Cuando los humanos enfrentan un rompecabezas difícil, tardan más en resolverlo.
El Paralelo de la IA: Cuando el rompecabezas se volvía más difícil, la IA generaba monólogos internos cada vez más largos.
El Detalle: Curiosamente, la IA no solo se volvió mejor resolviendo los rompecabezas difíciles al pensar por más tiempo. De hecho, cuanto más tiempo pensaba la IA, más probable era que obtuviera la respuesta incorrecta. Era como un estudiante que se queda mirando un problema de matemáticas durante una hora, escribiendo páginas de notas, pero sigue obteniendo la respuesta incorrecta porque el problema en sí es demasiado complicado. La longitud del pensamiento era una señal de dificultad, no una señal de éxito.

4. La diferencia del "Experto"

El estudio también comparó expertos humanos frente a principiantes.

Principiantes: Cuando el código estaba desordenado, los principiantes empeoraban mucho en la resolución.
Expertos: Sorprendentemente, los expertos a veces se volvían mejores resolviendo el código ligeramente desordenado. ¿Por qué? Porque dejaron de depender de los nombres de las variables (las etiquetas de "Rey" o "Peón") y comenzaron a mirar estrictamente la lógica y la estructura.
La Brecha de la IA: Ninguno de los modelos de IA, incluso los más inteligentes, pudo replicar este comportamiento de "experto". No mejoraron con el código ligeramente desordenado; simplemente empeoraron. Esto sugiere que, aunque la IA es buena en el razonamiento, aún no ha alcanzado el nivel de la intuición humana donde puede ignorar las etiquetas engañosas y enfocarse puramente en la estructura subyacente.

Resumen: ¿Qué significa esto?

¿Entienden las IA el código como los humanos? Las IA de "Razonamiento" están empezando a hacerlo. Se quedan trabadas en los mismos rompecabezas difíciles que los humanos. Las IA de "Código" son solo máquinas de detección de patrones que fallan de manera distinta.
¿Podemos confiar en la IA con código confuso? No ciegamente. Si el código tiene nombres extraños o estructuras confusas, la IA podría darte una respuesta muy segura y muy errónea.
La señal de "Pensamiento": Si una IA comienza a escribir una explicación muy larga y errática para resolver un problema simple, no es una señal de genialidad; es una señal de que la IA está luchando y podría estar a punto de cometer un error.

En resumen, el artículo muestra que estamos construyendo IAs que están empezando a "pensar" como los humanos, pero aún tienen un largo camino por recorrer antes de que puedan manejar el código desordenado, confuso y truculento con el que los desarrolladores del mundo real lidian todos los días.

Resumen Técnico: ¿Luchan las máquinas donde lo hacen los humanos? Comprensión de código ofuscado por parte de LLM y humanos

Declaración del Problema

La ofuscación de código se utiliza ampliamente para proteger el software contra la ingeniería inversa, dificultando deliberadamente la comprensión del código por parte de los humanos mientras se preserva la semántica del programa. Si bien investigaciones previas (específicamente Nguyen et al. [1]) han establecido que la ofuscación interrumpe los patrones de razonamiento humano —forzando un cambio de un procesamiento intuitivo de "Sistema 1" a un razonamiento deliberativo de "Sistema 2"— sigue sin estar claro si los Grandes Modelos de Lenguaje (LLM) exhiben modos de falla similares. El problema central abordado es si los LLM comprenden el código ofuscado de una manera alineada con la comprensión humana o si fallan mediante mecanismos diferentes. Si los modelos fallan de forma distinta, el alto rendimiento en los benchmarks de tareas estándar puede enmascarar una competencia frágil que colapsa ante transformaciones que los humanos aún pueden navegar.

Metodología

Los autores realizaron un estudio empírico mixto comparando el rendimiento de los LLM frente a una línea base humana establecida por Nguyen et al. [1].

Datasets: El estudio utilizó dos conjuntos de datos. El Dataset A (20 fragmentos de HumanEval-X en Python y JavaScript) se utilizó para comparar directamente los LLM con participantes humanos a través de cinco niveles de ofuscación. El Dataset B (250 fragmentos de HumanEval-X, CruxEval-X y LeetCode) se utilizó para el análisis de los rastros de razonamiento exclusivo de los modelos.
Niveles de Ofuscación: Se probaron cinco niveles:
- L0: Código original.
- L1: Renombramiento de identificadores (reemplazo de nombres significativos por otros incoherentes).
- L1b: Renombramiento adversarial (reemplazo de identificadores por nombres semánticamente significativos pero engañosos).
- L2: Aplanamiento del flujo de control (desacoplamiento de la lógica de la sintaxis mediante despachadores).
- L3: Combinación de L1 y L2.
Modelos: Se evaluó una diversidad de LLM, incluyendo modelos ajustados para el razonamiento (ej. DeepSeek-R1, SmolLM3), modelos ajustados para instrucciones y modelos ajustados para código, que van desde 0.5B hasta 8B de parámetros.
Marco de Evaluación:
- Métrica Primaria: Precisión de la predicción de salida (coincidencia exacta con la verdad fundamental).
- Lente Teórico: Se utilizó el Modelo de Bloques de Schulte [2] para localizar los fallos en cuatro niveles: Átomos (elementos léxicos), Bloques (regiones semánticas), Relaciones (dependencias) y Estructura Macro (algoritmo general).
- Análisis de Razonamiento: La longitud del rastro de Cadena de Pensamiento (CoT) se utilizó como un proxy de el esfuerzo mental. También se analizaron las métricas de confianza (log-probabilidades estandarizadas z) y las "Fracciones de Picos de Identificadores" (incertidumbre a nivel de token) para detectar interpretaciones erróneas con alta confianza.
Diseño Experimental: Los experimentos variaron las condiciones de prompting (línea base, prompting de Sistema 2, interferencia cognitiva, presupuestos de tokens) para aislar los comportamientos de razonamiento.

Contribuciones Clave

Formulación de la Alineación Humano-Máquina: El artículo establece un marco para medir la alineación entre la comprensión humana y la de las máquinas del código ofuscado, utilizando los patrones de dificultad humana como línea base.
Evaluación Sistemática: Un estudio exhaustivo de los LLM a través de múltiples niveles de ofuscación en Python y JavaScript, comparando el comportamiento de los modelos con los patrones de dificultad humana reportados.
Localización de Modos de Falla: Utilizando el Modelo de Bloques y los rastros de razonamiento, los autores identifican dónde emerge la alineación y dónde diverge la comprensión de la máquina de la comprensión humana.
Hallazgos Empíricos: El estudio reporta que los modelos ajustados para el razonamiento aproximan la sensibilidad humana a la complejidad del código, mientras que los modelos ajustados para instrucciones y código no lo hacen.

Resultados

1. Alineación con la Dificultad Humana (RQ1 y RQ2)

Modelos de Razonamiento: Los modelos ajustados para el razonamiento (ej. DeepSeek-R1-Qwen-7B, SmolLM3-3B) muestran una correlación positiva significativa ( $\rho \approx 0.30–0.47$ ) con la precisión humana a través de los niveles de ofuscación. Tienen dificultades con las mismas tareas que los humanos encuentran difíciles.
Modelos de Código/Instrucción: Los modelos ajustados para instrucciones y para código muestran una correlación cercana a cero con el rendimiento humano, lo que indica que fallan mediante mecanismos fundamentalmente distintos.
Niveles de Experiencia: Los modelos de razonamiento se alinean con los patrones de dificultad humana en todos los niveles de experiencia (principiante, intermedio, experto). Sin embargo, ningún modelo reproduce la "inversión del experto" específica donde los expertos humanos desempeñan mejor bajo un renombramiento adversarial moderado (L1b) en comparación con los principiantes.
Arquitectura vs. Tamaño: Los modelos de razonamiento superan consistentemente a los modelos de código e instrucción independientemente de su tamaño. Notablemente, Phi-4 Mini (4B) mostró la mayor alineación con el comportamiento de nivel de tarea humano, a pesar de tener una precisión bruta menor.

2. Cadena de Pensamiento (CoT) y Esfuerzo (RQ3)

Longitud de Rastro como Proxy de Dificultad: Existe una correlación negativa significativa entre la longitud del rastro de CoT y la precisión ( $\rho = -0.52$ ). Los rastros más largos se correlacionan consistentemente con respuestas incorrectas, lo que sugiere que la longitud del rastro rastrea la dificultad de la tarea en lugar de servir como una señal de confusión o deducción productiva.
Escalamiento del Esfuerzo: Los modelos exhiben un aumento monotónico en la longitud de CoT a medida que aumenta la ofuscación (L0 a L2), mientras que el tiempo de respuesta humano salta de L0 a L1 y luego se estabiliza. Esto sugiere que los modelos escalan el esfuerzo computacional de manera más lineal, mientras que los humanos cambian de modo cognitivo.
Límites de Tokens: Los modelos de razonamiento fuertes colapsan bajo límites estrictos de tokens, confirmando que su rendimiento depende de la deliberación de "Sistema 2".

3. Renombramiento Adversarial y Confianza (RQ4)

Errores Confiados: El renombramiento adversarial (L1b) provoca respuestas incorrectas de alta confianza (HCI) solo cuando ocurren simultáneamente el desplazamiento semántico (nombres engañosos) y la disrupción de identificadores (incertidumbre/picos de tokens elevados).
Falla a Nivel de Átomo: Este modo de falla se localiza en el nivel de "Átomo" del Modelo de Bloques. Los identificadores engañosos interrumpen el mapeo entre las pistas superficiales y la computación sin necesariamente romper el razonamiento estructural.
Varianza de los Modelos: La dirección de los cambios de confianza bajo el renombramiento adversarial depende de la tarea y del modelo. Los modelos especializados en código tienden hacia la supresión de la confianza, mientras que los modelos destilados de razonamiento muestran lo opuesto.

Significado e Implicaciones

Para la Ingeniería de Software

Selección de Modelos: Para tareas que requieren comprensión de código, depuración o revisión, los modelos ajustados para el razonamiento son preferibles no solo por su precisión, sino porque sus modos de falla se alinean con los desarrolladores humanos. Esto hace que sus rastros de razonamiento sean más fáciles de inspeccionar, calibrar y supervisar.
Riesgo de Dependencia Excesiva: El estudio advierte que no se debe tratar el razonamiento verboso (CoT largo) como una señal de fiabilidad; bajo una fuerte ofuscación, los rastros largos suelen indicar lucha. Del mismo modo, las explicaciones confiadas no deben ser confiadas cuando los semánticos de los identificadores son sospechosos (ej. en código ofuscado o legado), ya que esto puede conducir a errores de alta confianza.

Para la Seguridad del Software

Eficacia de la Ofuscación: Los LLM actuales no vuelven obsoleta la ofuscación tradicional. Las transformaciones como el aplanamiento del flujo de control y el renombramiento adversarial siguen creando barreras de comprensión significativas para los modelos, preservando el valor protector de la ofuscación contra la ingeniería inversa asistida por LLM.
Vulnerabilidades Adversarias: Los adversarios pueden explotar la vulnerabilidad de "nivel de átomo" utilizando identificadores que parecen benignos pero son engañosos para causar que los LLM infieran con confianza un comportamiento seguro mientras pasan por alto una funcionalidad maliciosa. Esto resalta un punto ciego compartido entre humanos y máquinas.
Asistentes de Analistas: Los modelos ajustados para el razonamiento pueden servir como asistentes efectivos para el análisis de malware porque fallan de manera más predecible (en formas que los humanos pueden entender), lo que los hace más fáciles de supervisar en flujos de trabajo de seguridad donde una explicación errónea puede tener consecuencias graves.

El artículo concluye que, si bien los LLM son poderosos, su "comprensión" del código ofuscado no es uniforme. Los modelos ajustados para el razonamiento ofrecen una aproximación más cercana a las limitaciones cognitivas humanas, lo que los hace más adecuados para la ingeniería de software colaborativa y las tareas de seguridad donde la supervisión humana es crítica.