💻 computer science

Do Machines Struggle Where Humans Do? LLM and Human Comprehension of Obfuscated Code

Este artigo avalia se os grandes modelos de linguagem compartilham modos de falha humanos ao compreender código ofuscado, constatando que modelos ajustados para raciocínio alinham-se significativamente com os padrões de dificuldade humanos através de vários níveis de ofuscação, ao passo que modelos ajustados por instrução não o fazem.

Autores originais: Jack Le, Anh H. N. Nguyen, Tien N. Nguyen

Publicado 2026-07-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jack Le, Anh H. N. Nguyen, Tien N. Nguyen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando resolver um quebra-cabeça. Agora, imagine que alguém pega esse quebra-cabeça e faz duas coisas com ele:

Renomeia as peças: Em vez de "Rei", "Rainha" e "Peão", as peças de xadrez são rotuladas como "X", "Y" e "Z". Ou, pior, o "Rei" é rotulado como "Peão" para te enganar.
Embaralha as instruções: Em vez de um caminho claro como "Siga em frente, depois vire à esquerda", as instruções são quebradas em passos minúsculos e desconexos que exigem um mapa complexo para entender a ordem.

É isso que a ofuscação de código faz com programas de computador. Ela mantém o programa funcionando exatamente da mesma forma, mas torna extremamente difícil para humanos lerem e entenderem.

Este artigo faz uma pergunta simples, mas profunda: Os modelos de IA (Modelos de Linguagem de Grande Escala) têm dificuldade com esses quebra-cabeças embaralhados da mesma forma que os humanos? Ou eles falham de uma maneira completamente diferente e misteriosa?

Aqui está a divisão das descobertas deles, usando analogias do cotidoso:

1. A IA "Inteligente" vs. A IA "Treinada"

Os pesquisadores testaram diferentes tipos de modelos de IA. Pense neles como diferentes tipos de estudantes:

Os Modelos de "Código/Instrução": Estes são como estudantes que memorizaram um livro didático massivo de exemplos de código. Eles são ótimos em detectar padrões (como ver a palavra "print" e saber o que fazer). Mas quando você embaralha o quebra-cabeça, eles ficam confusos porque seu "reconhecimento de padrões" quebra. Eles não entendem realmente por que o código funciona; eles apenas sabem como ele costuma ser.
Os Modelos de "Raciocínio": Estes são como estudantes que foram ensinados a pensar. Eles não apenas memorizam; eles tentam trabalhar a lógica passo a passo.

A Grande Descoberta: Os modelos de "Raciocínio" tiveram dificuldade com os quebra-cabeças embaralhados exatamente da mesma forma que os humanos fizeram. Quando o quebra-cabeça ficava mais difícil (mais ofuscado), tanto os humanos quanto as IAs de raciocínio ficavam mais lentos e cometiam mais erros. Os modelos de "Código", no entanto, não se importavam tanto com a dificuldade; eles apenas falhavam aleatoriamente ou não apresentavam aumento de dificuldade, mostrando que não estavam realmente "pensando" no problema como um humano faria.

2. A Armadilha do "Erro Confiante"

Uma das partes mais interessantes do estudo envolve um truque específico chamado Renomeação Adversária.

O Cenário: Imagine que uma função que calcula uma taxa de imposto seja chamada de calculate_tax. O ofuscador muda o nome para calculate_bonus.
A Reação Humana: Um programador humano vê "bônus" e pensa: "Espera, isso não faz sentido para um imposto", mas ele ainda pode ficar confuso se a lógica do código for bagunçada.
A Reação da IA: As IAs de "Raciocínio" às vezes caíram na armadilha. Elas viram a palavra "bônus", assumiram que o código era sobre dar dinheiro e deram uma resposta errada com total confiança.

O artigo descobriu que esse "erro confiante" só acontecia quando duas coisas aconteciam ao mesmo tempo: o nome era enganoso E a estrutura do código era confusa. É como se alguém lhe entregasse um mapa de uma cidade, mas rotulasse o "Hospital" como "Lanchonete", e as ruas fossem todos loops de mão única. Você dirigiria com confiança até a "Lanchonete" (o Hospital) e se perderia.

3. O Medidor de "Tempo de Pensamento"

Os pesquisadores observaram quanto tempo a IA "pensou" antes de responder. Eles mediram isso contando o número de palavras que a IA gerava em sua "Cadeia de Pensamento" (seu monólogo interno).

O Paralelo Humano: Quando os humanos enfrentam um quebra-cabeça difícil, eles levam mais tempo para resolvê-lo.
O Paralelo da IA: Quando o quebra-cabeça ficava mais difícil, a IA gerava monólogos internos cada vez mais longos.
A Pegadinha: Curiosamente, a IA não ficou melhor em resolver os quebra-cabeças difíceis ao pensar por mais tempo. Na verdade, quanto mais a IA pensava, maior a probabilidade de ela errar a resposta. Era como um estudante encarando um problema de matemática por uma hora, escrevendo páginas de notas, mas ainda errando a resposta porque o problema em si era complexo demais. O comprimento do pensamento era um sinal de dificuldade, não de sucesso.

4. A Diferença do "Especialista"

O estudo também observou especialistas humanos versus iniciantes.

Iniciantes: Quando o código era embaralhado, os iniciantes pioravam muito na resolução.
Especialistas: Surpreendentemente, os especialistas às vezes ficavam melhores em resolver o código levemente embaralhado. Por quê? Porque eles paravam de depender dos nomes das variáveis (os rótulos "Rei" ou "Peão") e começavam a olhar estritamente para a lógica e a estrutura.
A Lacuna da IA: Nenhum dos modelos de IA, mesmo os mais inteligentes, conseguiu replicar esse comportamento de "especialista". Eles não melhoraram ao lidar com o código levemente embaralhado; eles apenas pioraram. Isso sugere que, embora a IA esteja ficando boa em raciocinar, ela ainda não alcançou o nível da intuição humana, onde se pode ignorar rótulos enganosos e focar puramente na estrutura subjacente.

Resumo: O Que Isso Significa?

As IAs entendem código como os humanos? As IAs de "Raciocínio" estão começando a entender. Elas travam nos mesmos quebra-cabeças difíceis que os humanos. As IAs de "Código" são apenas máquinas de reconhecimento de padrões que falham de forma diferente.
Podemos confiar na IA com códigos confusos? Não cegamente. Se o código tiver nomes estranhos ou estruturas confusas, a IA pode te dar uma resposta muito confiante e muito errada.
O Sinal de "Pensamento": Se uma IA começar a escrever uma explicação muito longa e prolixa para resolver um problema simples, não é um sinal de genialidade; é um sinal de que a IA está lutando e pode estar prestes a cometer um erro.

Em resumo, o artigo mostra que estamos construindo IAs que começam a "pensar" como humanos, mas elas ainda têm um longo caminho a percorrer antes de conseguirem lidar com o código bagunçado, confuso e traiçoeiro que os desenvolvedores do mundo real enfrentam todos os dias.

Resumo Técnico: As Máquinas Sofrem Onde os Humanos Sofrem? Compreensão de Código Ofuscado por LLMs e Humanos

Declaração do Problema

A ofuscação de código é amplamente utilizada para proteger o software contra engenharia reversa, prejudicando deliberadamente a compreensão humana do código enquanto preserva a semântica do programa. Embora pesquisas anteriores (especificamente Nguyen et al. [1]) tenham estabelecido que a ofuscação interrompe os padrões de raciocínio humano — forçando uma mudança do processamento intuitivo "Sistema 1" para o raciocínio deliberativo "Sistema 2" — permanece incerto se os Grandes Modelos de Linguagem (LLMs) exibem modos de falha semelhantes. O problema central abordado é se os LLMs compreendem o código ofuscado de uma maneira alinhada com a compreensão humana ou se falham por mecanismos diferentes. Se os modelos falham de formas distintas, o alto desempenho em benchmarks de tarefas padrão pode mascarar uma competência frágil que colapsa sob transformações que os humanos ainda conseguem navegar.

Metodologia

Os autores realizaram um estudo empírico misto comparando o desempenho de LLMs contra uma linha de base humana estabelecida por Nguyen et al. [1].

Datasets: O estudo utilizou dois conjuntos de dados. O Dataset A (20 snippets do HumanEval-X em Python e JavaScript) foi usado para comparar diretamente LLMs com participantes humanos através de cinco níveis de ofuscação. O Dataset B (250 snippets do HumanEval-X, CruxEval-X e LeetCode) foi usado para análise de traços de raciocínio apenas para o modelo.
Níveis de Ofuscação: Cinco níveis foram testados:
- L0: Código original.
- L1: Renomeação de identificadores (substituição de nomes significativos por outros incoerentes).
- L1b: Renomeação adversarial (substituição de identificadores por nomes semanticamente significativos, porém enganosos).
- L2: Achatamento de fluxo de controle (desacoplamento da lógica da sintaxe usando despachantes).
- L3: Combinação de L1 e L2.
Modelos: Um conjunto diversificado de LLMs foi avaliado, incluindo modelos ajustados para raciocínio (ex: DeepSeek-R1, SmolLM3), modelos ajustados para instrução e modelos ajustados para código, variando de 0.5B a 8B de parâmetros.
Estrutura de Avaliação:
- Métrica Primária: Precisão de previsão de saída (correspondência exata com a verdade fundamental/ground truth).
- Lente Teórica: O Modelo de Blocos de Schulte [2] foi utilizado para localizar falhas em quatro níveis: Átomos (elementos léxicos), Blocos (regiões semânticas), Relações (dependências) e Estrutura Macro (algoritmo geral).
- Análise de Raciocínio: O comprimento do traço de Cadeia de Pensamento (CoT) foi usado como um proxy para esforço mental. Métricas de confiança (log-probabilidades z-scoreadas) e "Frações de Pico de Identificador" (incerteza ao nível de token) foram analisadas para detectar interpretações errôneas confiantes.
Design Experimental: Experimentos variaram as condições de prompt (baseline, prompting de Sistema 2, interferência cognitiva, orçamentos de tokens) para isolar comportamentos de raciocínio.

Contribuições Principais

Formulação de Alinhamento Humano-Máquina: O artigo estabelece uma estrutura para medir o alinhamento entre a compreensão humana e de máquina de código ofuscado, utilizando os padrões de dificuldade humana como linha de base.
Avaliação Sistemática: Um estudo abrangente de LLMs através de múltiplos níveis de ofuscação em Python e JavaScript, comparando o comportamento do modelo com os padrões de dificuldade humana relatados.
Localização de Modos de Falha: Usando o Modelo de Blocos e traços de raciocínio, os autores identificam onde o alinhamento emerge e onde a compreensão da máquina diverge da compreensão humana.
Descobertas Empíricas: O estudo relata que modelos ajustados para raciocínio aproximam-se da sensibilidade humana à complexidade do código, enquanto modelos ajustados para instrução e código não o fazem.

Resultados

1. Alinhamento com a Dificuldade Humana (RQ1 & RQ2)

Modelos de Raciocínio: Modelos ajustados para raciocínio (ex: DeepSeek-R1-Qwen-7B, SmolLM3-3B) mostram uma correlação positiva significativa ( $\rho \approx 0.30–0.47$ ) com a precisão humana através dos níveis de ofuscação. Eles enfrentam dificuldades nas mesmas tarefas que os humanos consideram difíceis.
Modelos de Código/Instrução: Modelos ajustados para instrução e código mostram correlação próxima de zero com o desempenho humano, indicando que falham por mecanismos fundamentalmente diferentes.
Níveis de Expertise: Modelos de raciocínio alinham-se com os padrões de dificuldade humana em todos os níveis de experiência (iniciante, intermediário, especialista). No entanto, nenhum modelo reproduz a "inversão de especialista" específica, onde especialistas humanos performam melhor sob renomeação adversarial moderada (L1b) em comparação com iniciantes.
Arquitetura vs. Tamanho: Modelos de raciocínio superam consistentemente modelos de código e instrução, independentemente do tamanho. Notavelmente, o Phi-4 Mini (4B) mostrou o maior alinhamento com o comportamento de nível de tarefa humana, apesar da menor precisão bruta.

2. Cadeia de Pensamento (CoT) e Esforço (RQ3)

Comprimento do Traço como Proxy de Dificuldade: Existe uma correlação negativa significativa entre o comprimento do traço de CoT e a precisão ( $\rho = -0.52$ ). Traços mais longos correlacionam-se consistentemente com respostas incorretas, sugerindo que o comprimento do traço rastreia a dificuldade da tarefa em vez de servir como um sinal de confusão ou dedução produtiva.
Escalabilidade do Esforço: Os modelos exibem um aumento monotônico no comprimento de CoT conforme a ofuscação aumenta (L0 para L2), enquanto o tempo de resposta humano salta de L0 para L1 e depois estabiliza. Isso sugere que os modelos escalam o esforço computacional de forma mais linear, enquanto os humanos alternam modos cognitivos.
Limites de Tokens: Modelos de raciocínio fortes colapsam sob limites estritos de tokens, confirmando que seu desempenho depende da deliberação de "Sistema 2".

3. Renomeação Adversarial e Confiança (RQ4)

Erros Confiantes: A renomeação adversarial (L1b) desencadeia respostas incorretas de alta confiança (HCI) apenas quando o deslocamento semântico (nomes enganosos) e a disrupção de identificador (incerteza/picos de token elevados) ocorrem simultaneamente.
Falha no Nível de Átomo: Este modo de falha é localizado no nível de "Átomo" do Modelo de Blocos. Identificadores enganosos interrompem o mapeamento entre pistas superficiais e computação sem necessariamente quebrar o raciocínio estrutural.
Variância do Modelo: A direção das mudanças de confiança sob renomeação adversarial é dependente da tarefa e do modelo. Modelos especializados em código tendem para a supressão de confiança, enquanto modelos destilados de raciocínio mostram o oposto.

Significância e Implicações

Para a Engenharia de Software

Seleção de Modelos: Para tarefas que exigem compreensão de código, depuração ou revisão, modelos ajustados para raciocínio são preferíveis não apenas pela precisão, mas porque seus modos de falha se alinham com os desenvolvedores humanos. Isso torna seus traços de raciocínio mais fáceis de inspecionar, calibrar e supervisionar.
Risco de Dependência Excessiva: O estudo alerta para não tratar o raciocínio verboso (CoT longo) como um sinal de confiabilidade; sob forte ofuscação, traços longos frequentemente indicam dificuldade. Da mesma forma, explicações confiantes não devem ser confiadas quando a semântica do identificador é suspeita (ex: em código ofuscado ou legado), pois isso pode levar a erros de alta confiança.

Para a Segurança de Software

Eficácia da Ofuscação: Os LLMs atuais não tornam a ofuscação tradicional obsoleta. Transformações como o achatamento de fluxo de controle e a renomeação adversarial ainda criam barreiras de compreensão significativas para os modelos, preservando o valor protetor da ofuscação contra a engenharia reversa assistida por LLM.
Vulnerabilidades Adversariais: Adversários podem explorar a vulnerabilidade de "nível de átomo" ao usar identificadores que parecem benignos, mas são enganosos, para fazer com que os LLMs infiram confiantemente um comportamento seguro enquanto ignoram uma funcionalidade maliciosa. Isso destaca um ponto cego compartilhado entre humanos e máquinas.
Assistentes de Analistas: Modelos ajustados para raciocínio podem servir como assistentes eficazes para análise de malware porque falham de forma mais previsível (de maneiras que os humanos conseguem entender), tornando-os mais fáceis de supervisionar em fluxos de trabalho de segurança onde uma explicação errada pode ter consequências graves.

O artigo conclui que, embora os LLMs sejam poderosos, seu "entendimento" de código ofuscado não é uniforme. Modelos ajustados para raciocínio oferecem uma aproximação mais próxima das limitações cognitivas humanas, tornando-os mais adequados para tarefas colaborativas de engenharia de software e segurança onde a supervisão humana é crítica.