Resumo Técnico: SecLens – Avaliação Específica por Função de LLMs para Detecção de Vulnerabilidades

1. O Problema

Os benchmarks existentes para a detecção de vulnerabilidades baseadas em Grandes Modelos de Linguagem (LLMs) tendem a reduzir a capacidade de um modelo a um único número agregado (uma pontuação média). O artigo argumenta que essa métrica unidimensional é insuficiente para atender às necessidades divergentes dos diferentes stakeholders dentro de uma organização:

• CISO (Diretor de Segurança da Informação): Prioriza a recuperação (recall) de vulnerabilidades críticas e taxas baixas de falsos negativos, mesmo que isso aumente o custo.
• Líder de Engenharia: Otimiza para baixas taxas de falsos positivos (precisão), velocidade e custo, para não atrasar o desenvolvimento.
• Diretor de IA (CAIO): Equilibra custo, capacidade de autonomia e eficácia do uso de ferramentas.
• Pesquisador de Segurança: Busca profundidade no raciocínio, precisão na taxonomia (CWE) e evidências completas.
• IA como Agente: Avalia a robustez, conformidade de formato e capacidade de operação autônoma.

Um modelo classificado como "o melhor" em um ranking geral pode ser a escolha pior para um CISO se falhar em vulnerabilidades críticas, ou para a engenharia se gerar muitos alertas falsos. O artigo demonstra que a mesma pontuação pode variar em até 31 pontos dependendo da lente de avaliação aplicada.

2. Metodologia: O Framework SecLens-R

Os autores introduzem o SecLens-R, um framework de avaliação multi-stakeholder construído sobre o benchmark SecLens. A metodologia baseia-se nos seguintes pilares:

A. Dimensões e Categorias Compartilhadas

O framework utiliza um pool compartilhado de 35 dimensões de avaliação organizadas em 7 categorias:

1. Detecção: (Ex: MCC, Recall, Precisão, F1, Acurácia CWE).
2. Cobertura e Consistência: (Ex: Cobertura de CWE, consistência entre linguagens).
3. Raciocínio e Evidência: (Ex: Completude da evidência, presença de raciocínio).
4. Eficiência Operacional: (Ex: Custo por tarefa, tempo de execução, throughput).
5. Uso de Ferramentas e Navegação: (Ex: Chamadas de ferramentas, eficiência de navegação).
6. Risco e Severidade: (Ex: Recall ponderado por severidade, taxa de falha em críticos).
7. Robustez: (Ex: Taxa de sucesso de parse, conformidade de formato, degradação graciosa).

B. Perfis de Peso Específicos por Função (Role-Specific)

Cada uma das 5 funções (CISO, CAIO, Pesquisador, Líder de Engenharia, IA como Agente) seleciona um subconjunto de 12 a 16 dimensões e atribui pesos inteiros que somam 80.

• CISO: Foca pesadamente em Detecção (34 pts) e Risco/Severidade (18 pts).
• Líder de Engenharia: Prioriza Precisão (D3, peso 12) e Achados Acionáveis (D8, peso 10), além de Eficiência.
• IA como Agente: Dá o maior peso à Robustez (36 pts) e Uso de Ferramentas.

C. Camadas de Avaliação

A avaliação ocorre em duas camadas distintas do benchmark SecLens:

1. Code-in-Prompt (CIP): O modelo recebe o código vulnerável diretamente no prompt. Testa o raciocínio puro sem uso de ferramentas.
2. Tool-Use (TU): O modelo tem acesso a um repositório clonado e ferramentas (read_file, search, list_dir). Testa a capacidade de auditoria em cenários reais com navegação multi-turno.

D. Pontuação Composta (Decision Score)

A pontuação final é calculada como uma média ponderada das dimensões disponíveis:
$$D^{(r)}(m) = \frac{\sum_{i \in A^{(r)}} w_i^{(r)} \cdot s_i^{(m)}}{\sum_{i \in A^{(r)}} w_i^{(r)}} \times 100$$
O denominador ajusta-se dinamicamente se certas dimensões não estiverem disponíveis (ex: métricas de localização não são calculáveis na camada CIP). As pontuações são normalizadas para uma escala de 0 a 100 e mapeadas para notas (A a F).

3. Contribuições Principais

1. Framework Multi-Stakeholder: Definição de 35 dimensões aplicadas através de 5 perfis de peso distintos, permitindo que a mesma avaliação gere resultados diferentes baseados no objetivo do tomador de decisão.
2. Método de Pontuação Dinâmica: Um método de pontuação composta que ajusta automaticamente o denominador quando dimensões específicas (como uso de ferramentas) não são computáveis em certas camadas de teste.
3. Validação Empírica: Avaliação de 12 modelos de ponta (Anthropic, Google, OpenAI, e outros via OpenRouter) em 406 tarefas derivadas de 93 projetos open-source, cobrindo 10 linguagens e 8 categorias OWASP.
4. Descoberta de Divergência: Demonstração empírica de que o ranking de liderança (leaderboard) não prevê o desempenho específico por função, com divergências de até 31 pontos entre as notas de um mesmo modelo para diferentes stakeholders.

4. Resultados Chave

Divergência de Pontuação (Decision Score)

Os resultados confirmam que não existe um "melhor modelo" universal:

• Qwen3-Coder: Obtém uma nota A (76.3) para o Líder de Engenharia (devido à alta precisão e baixo custo), mas uma nota D (45.2) para o CISO (devido à baixa recuperação de vulnerabilidades críticas).
• GPT-5.4: Nota A (76.7) para Engenharia, mas D (48.4) para CISO.
• Claude Haiku 4.5: Classificado em 8º lugar no ranking geral, mas obtém a 2ª melhor nota para o CISO (71.2), superando modelos mais caros e "topos" de leaderboard.

Análise por Categoria de Vulnerabilidade

• Nenhum modelo domina todas as 8 categorias OWASP.
• Falhas de Autenticação foram a categoria mais difícil para todos os modelos (melhor F1 foi 0.585).
• Claude Sonnet/Opus destacaram-se em SSRF (Server-Side Request Forgery).
• Qwen3-Coder teve desempenho consistentemente pior, com alta precisão mas recall quase zero (raramente identifica código como vulnerável).

Camada CIP vs. Tool-Use (TU)

• A camada TU resultou em pontuações de leaderboard mais baixas e custos 10 a 100 vezes maiores devido à navegação de repositórios e múltiplos turnos.
• A camada CIP é suficiente para a maioria das decisões de seleção de modelos focadas em qualidade de detecção e custo, sendo muito mais eficiente.
• A camada TU é crucial para avaliar a "IA como Agente" e a capacidade de navegação, mas penaliza severamente a eficiência operacional (custo/tempo).

Índice de Divergência de Função (RDI)

O Qwen3-Coder apresentou o maior RDI (31.1 pontos), indicando que seu valor percebido depende quase inteiramente de quem está avaliando. O Haiku 4.5 teve o menor RDI (16.8), indicando o perfil mais equilibrado entre as diferentes funções.

5. Significado e Implicações

• Fim do "Ranking Único": A seleção de modelos para segurança não é um problema de objetivo único. Um modelo "topo de lista" pode ser inadequado para o contexto específico de uma organização.
• Trade-off Estratégico: Modelos conservadores (alta precisão, baixo recall) são ideais para equipes de engenharia (evitam ruído), enquanto modelos agressivos (alto recall) são preferidos por CISOs (evitam deixar brechas).
• Personalização Organizacional: O framework SecLens-R é baseado em arquivos YAML, permitindo que organizações ajustem os pesos das dimensões para refletir seus próprios apetites de risco e restrições operacionais.
• Custo-Eficiência: A avaliação na camada CIP oferece 65-70% do poder discriminativo do framework a um custo 10-100 vezes menor que a camada TU, sendo recomendada para a maioria dos cenários de seleção inicial.

Em conclusão, o SecLens-R fornece uma lente crítica para desmistificar os rankings de LLMs em segurança, demonstrando que a adequação de um modelo deve ser julgada com base nos objetivos específicos do stakeholder que o utilizará, e não apenas em uma pontuação agregada.