AttackonCTF: Defending Hardware Security Competition Benchmarks in the Age of LLMs

Resumo Técnico: AttackonCTF: Defendendo Benchmarks de Competições de Segurança de Hardware na Era dos LLMs

Declaração do Problema
Competições de segurança de hardware, como o HackTheSilicon, servem como benchmarks críticos para avaliar ferramentas de detecção de vulnerabilidades e treinar pesquisadores humanos e modelos de IA. Essas competições utilizam designs de System-on-Chip (SoC) de código aberto (ex: OpenTitan) com vulnerabilidades injetadas baseadas na indústria. Um requisito fundamental para a participação é a submissão de relatórios técnicos abrangentes que demonstrem raciocínio de segurança genuíno, em vez de uma simples comparação de código.

No entanto, os autores identificam uma ameaça de validade crítica posed pelos Modelos de Linguagem de Grande Escala (LLMs). Avanços recentes permitem que detectores baseados em LLM contornem a exigência de análise de segurança profunda ao explorar "atalhos". Em vez de raciocinar sobre o design malicioso de forma isolada, esses modelos utilizam Geração Aumentada de Recuperação (RAG) para buscar versões originais e limpas do código de repositórios públicos, históricos de commits ou Pull Requests. Ao realizar um "diff" automatizado entre o código limpo recuperado e o alvo com bugs, os LLMs podem gerar relatórios de vulnerabilidade de alta qualidade com altas taxas de detecção (75–83%) sem realizar um raciocínio de segurança de hardware genuíno. Isso compromete a integridade educacional das competições e invalida os benchmarks destinados a avaliar as capacidades de raciocínio da IA.

Metodologia
O artigo propõe uma abordagem de duas frentes: validação empírica da hipótese de "exploração de diff" e o desenvolvimento de um novo mecanismo de defesa.

1. Validação Empírica de Atalhos de LLM:
   Os autores projetaram quatro detectores de vulnerabilidade baseados em LLM progressivamente mais sofisticados (D1–D4) para simular cenários de ataque realistas:

• D1 (Consciente de Diff): Recebe apenas o unified diff entre o código com bug e o código limpo.
• D2 (RAG Consciente de Repositório): Recebe o código com bug e recupera o contexto relevante (código RTL) de um índice de repositório.
• D3 (RAG Consciente de Histórico): Estende o D2 ao recuperar o histórico de desenvolvimento (Pull Requests, commits) para fornecer contexto temporal.
• D4 (RAG Consciente de Fraquezas): Aumenta o D2 com conhecimento de domínio de segurança de hardware proveniente do banco de dados Common Weakness Enumeration (CWE).
  Esses detectores foram testados em benchmarks HackTheSilicon não ofuscados para estabelecer o desempenho de base.

2. O Framework de Ofuscação AttackonCTF:
   Para combater esses atalhos, os autores introduzem o primeiro framework de ofuscação orientado a LLM e preservador de semântica, adaptado para benchmarks de segurança de hardware. Diferente das ferramentas tradicionais de ofuscação de hardware projetadas para proteção de Propriedade Intelectual (IP) — que tornam o código ilegível via criptografia agressiva de identificadores e anonimização de layout — o AttackonCTF prioriza a legibilidade humana e o valor educacional, enquanto interrompe o pareamento sintático baseado em LLM.

O framework opera através de um pipeline envolvendo:

• Extração de Restrições: Definir invariantes formais (ex: preservar interfaces de módulos, larguras de sinais, comportamento de reset e semântica de FSM) que o LLM deve respecer durante a reescrita.
• Seleção de Span: Identificar regiões de código vulneráveis para transformar, evitando áreas protegidas.
• Reescrita de Código: Utilizar um LLM para aplicar cinco estratégias específicas de transformação:
  1. Renomeação de identificadores com alternativas semanticamente neutras.
  2. Reestruturação de fluxo de controle via expressões equivalentes.
  3. Injeção de ruído de diff: Introduzir modificações benignas para interromper a similaridade sintática com o design de referência original.
  4. Diluição de contexto: Obscurecer ou dispersar pistas relevantes à segurança.
  5. Reescrita de lógica usando álgebra booleana e transformações temporais.
• Verificação: Um loop rigoroso utilizando Verilator para verificação de sintaxe e Yosys para verificação de equivalência semântica formal (provas baseadas em SAT) para garantir a correção funcional e a equivalência semântica ao design original.

Principais Contribuições

• Primeira Demonstração Empírica: O artigo fornece evidências de que a detecção de vulnerabilidades baseada em LLM em benchmarks de hardware depende fortemente de comparação sintática de diff e recuperação de código original, alcançando taxas de detecção de 75–83% sem raciocínio de segurança genuíno.
• Novo Framework de Ofuscação: O desenvolvimento do primeiro framework de ofuscação específico para LLM e preservador de legibilidade, que emprega ruído de diff, diluição de contexto e desvio semântico.
• Pipeline de Verificação Automatizado: Um sistema integrado que garante que os designs ofuscados permaneçam semanticamente equivalentes e totalmente funcionais, adequados tanto para análise humana quanto para treinamento de IA.
• Restauração da Integridade do Benchmark: Um método para restaurar a validade das competições de segurança de hardware, impedindo a exploração automatizada de diff enquanto mantém a capacidade dos participantes de aprender com os designs.

Resultados
O framework foi avaliado em três benchmarks HackTheSilicon (Hack@DATE'25, Hack@DAC'25, Hack@CHES'25) baseados em OpenTitan, contendo 50 vulnerabilidades únicas em 27 categorias CWE. Os detectores (D1 e D4) foram testados contra níveis de ofuscação de 0%, 10%, 50% e 100%.

• Desempenho de Base: Nos benchmarks não ofuscados, o D1 alcançou uma taxa de detecção de 83,3% e o D4 alcançou 77,1%.
• Impacto da Ofuscação:
  • Com 10% de Ofuscação: A precisão da detecção caiu significativamente entre 48–55%, apesar de uma queda menor na taxa de detecção. Isso indica que mesmo pequenas mudanças sintáticas interrompem severamente a capacidade dos modelos de depender de padrões de diff, causando um aumento nos falsos positivos.
  • Com 100% de Ofuscação: O framework reduziu a precisão da detecção por LLM em 78,6% (caindo para ~15%) e reduziu as taxas de detecção em aproximadamente 50% (D1: 83,3% → 54,3%; D4: 77,1% → 48,9%).
• Legibilidade Humana: Diferente da ofuscação tradicional, os designs resultantes permaneceram interpretáveis para analistas humanos, preservando o valor educacional dos benchmarks.

Significância
O artigo afirma que seu trabalho aborda uma lacuna crítica na pesquisa de segurança de hardware: a validade dos benchmarks na era da IA avançada. Ao demonstrar que a "detecção" atual baseada em LLM é frequentemente apenas um diff automatizado, os autores argumentam que as avaliações existentes podem superestimar as capacidades de raciocínio da IA. O framework AttackonCTF proposto oferece uma solução prática para restaurar a confiabilidade dos benchmarks. Ele permite que a comunidade continue utilizando designs de SoC de código aberto para treinamento e competição, garantindo que métricas de alto desempenho reflitam o raciocínio de segurança genuíno, em vez da exploração de correlações sintáticas com o código limpo conhecido. Isso possibilita uma avaliação mais precisa tanto das capacidades humanas quanto das de IA na análise de vulnerabilidades de hardware.