Leveraging Large Language Models for Trustworthiness Assessment of Web Applications

1. Problema e Motivação

A avaliação de segurança de aplicações web tradicionalmente foca na deteção de vulnerabilidades conhecidas (usando SAST, DAST, etc.) ou em revisões manuais de código. Estas abordagens apresentam limitações críticas:

• Falta de Escalabilidade: A verificação manual de práticas de codificação segura é demorada, subjetiva e difícil de integrar em pipelines de CI/CD modernos.
• Visão Limitada: A ausência de alertas de vulnerabilidade não garante a fiabilidade da aplicação, pois ignora fraquezas latentes e más práticas de desenvolvimento.
• Necessidade de uma Nova Perspetiva: Existe uma necessidade de avaliar a "confiabilidade" (trustworthiness) com base na adesão a práticas de codificação segura (como as definidas pela OWASP), em vez de apenas procurar falhas específicas.

O objetivo deste estudo é investigar se os Modelos de Linguagem de Grande Escala (LLMs) podem automatizar a avaliação de confiança, verificando a adesão a práticas de codificação segura de forma sistemática e escalável.

2. Metodologia

Os autores propõem uma metodologia empírica de cinco fases para avaliar a eficácia dos LLMs:

• Dataset: Utilização do WSVD-Bench, um conjunto de dados público com serviços web Java (baseados em TPC-App, TPC-C, TPC-W). O dataset inclui 42 funções em 18 serviços, com versões seguras (Vx0) e vulneráveis (VxA), focando especificamente nas 16 práticas de Validação de Entrada da OWASP (cruciais para prevenir injeções SQL).
• Ground Truth: Uma base de referência manual foi criada por especialistas, classificando cada função quanto à aplicabilidade e adesão a cada uma das 16 práticas (1 = Seguido, 0 = Não Seguido, NA = Não Aplicável).
• Seleção de Modelos: Foram testados 5 LLMs de diferentes capacidades: gpt-3.5-turbo, gpt-4o-mini, gpt-4.1-mini, gpt-4.1 e gemini-2.5-flash.
• Estratégias de Prompting (Engenharia de Prompt): Para responder às questões de investigação (RQs), foram comparadas quatro estratégias:
  1. Baseline (Zero-shot): Apenas a descrição da prática e o código.
  2. CWE + Exemplos Negativos: Adição de identificadores CWE e snippets de código vulneráveis (Few-shot).
  3. Contexto de Chamada de Função: Inclusão do código de funções auxiliares (extraído via Joern) para análise de contexto estrutural.
  4. Baseado em Regras (Rule-Based): Instruções explícitas e condicionais ("se-então") para definir critérios de conformidade.
• Avaliação de Confiança (Trustworthiness Score):
  • Abordagem Analítica: Os resultados binários dos LLMs são agregados usando um Modelo de Qualidade (QM) hierárquico baseado no método Logic Score of Preference (LSP). Este método usa operadores lógicos de "simultaneidade" (onde a falha em um critério crítico reduz drasticamente a pontuação global) e pesos derivados de dados reais de vulnerabilidades (CVE).
  • Abordagem Direta: Os LLMs tentam gerar diretamente uma pontuação de confiança (0 a 1) sem a fórmula LSP.

3. Principais Contribuições

1. Comparação Sistemática de Engenharia de Prompt: Avaliação empírica de como diferentes estratégias de contexto (semântico, estrutural, regras) afetam a precisão e consistência dos LLMs na identificação de práticas seguras.
2. Validação de Viabilidade para Escala: Demonstração de que a análise baseada em LLMs pode ser aplicada em escala, superando as limitações de tempo e custo da revisão manual.
3. Extensão do Modelo de Qualidade (QM): Integração bem-sucedida das saídas dos LLMs num modelo QM baseado em LSP para calcular uma pontuação de confiança holística e determinística, em vez de depender de estimativas estocásticas diretas.

4. Resultados Chave

• RQ1 (Desempenho Baseline): Os LLMs conseguem identificar práticas locais com boa precisão, mas falham em práticas que exigem raciocínio de fluxo de controlo ou contexto arquitetural. O gpt-4.1 obteve o melhor desempenho (F1-macro ~0.89), enquanto modelos menores tiveram desempenho inferior.
• RQ2 (Impacto do Contexto):
  • Contexto Estrutural (Prompt 3): A adição de código de funções auxiliares degradou o desempenho em todos os modelos. O excesso de contexto introduziu "ruído", dificultando a identificação correta das práticas (aumento de falsos negativos).
  • Exemplos Negativos (Prompt 2): Melhorou o desempenho do gpt-4.1, mas causou regressão em modelos menores devido à sobrecarga de informação.
  • Instruções Baseadas em Regras (Prompt 4): Foi a estratégia mais eficaz para modelos de capacidade média e baixa (como gpt-4o-mini e gpt-4.1-mini). As instruções explícitas compensaram a menor capacidade de raciocínio, permitindo que estes modelos atingissem níveis de precisão próximos aos modelos de alta capacidade.
• RQ3 (Pontuação de Confiança):
  • A geração direta de pontuações pelos LLMs mostrou-se não confiável, com grandes desvios em relação à referência (MAE entre 0.40 e 0.60).
  • A agregação analítica via LSP (usando as classificações binárias dos LLMs) produziu resultados robustos. O modelo conseguiu discriminar estatisticamente entre versões seguras e vulneráveis (p < 0.05), especialmente quando combinado com a estratégia de Prompt Baseado em Regras.

5. Significado e Conclusão

O estudo conclui que os LLMs são ferramentas viáveis para a avaliação automatizada de confiança em aplicações web, desde que utilizados de forma estruturada:

• Não se deve confiar na geração direta de pontuações pelos LLMs; a avaliação deve ser feita através de um modelo determinístico (como o LSP) que processe as classificações binárias dos LLMs.
• A engenharia de prompt é crítica: Para modelos de menor custo/complexidade, instruções baseadas em regras são superiores à adição de grandes quantidades de contexto ou exemplos few-shot.
• Aplicabilidade: Esta abordagem permite integrar a avaliação de segurança em pipelines de CI/CD, oferecendo uma métrica quantitativa de confiança que vai além da simples deteção de vulnerabilidades, focando na qualidade do processo de desenvolvimento.

Em suma, a combinação de LLMs para deteção de práticas e modelos formais de agregação (LSP) oferece um caminho promissor para tornar a avaliação de segurança de aplicações web escalável, contínua e baseada em dados.