Resumo Técnico: Avaliação de Desempenho de Grandes Modelos de Linguagem para Detecção de URLs de Phishing Zero-shot e Few-shot

Declaração do Problema

Os ataques de phishing evoluíram para uma ameaça de segurança cibernética sofisticada, utilizando cada vez mais IA generativa para criar URLs contextuais e enganosas que são difíceis de distinguir para usuários e ferramentas de detecção tradicionais. Embora proteções reativas como o HTTPS existam, a própria estrutura da URL carece de mecanismos inerentes de segurança ou resiliência contra fraudes. Os sistemas de detecção tradicionais, particularmente aqueles que dependem de listas negras (blacklists) ou características lexicais manuais, têm dificuldade com URLs recém-geradas ou ofuscadas devido à sua dependência de conhecimento prévio. Além disso, a rápida escalada das táticas de phishing — evidenciada por um aumento de volume de 4.000% desde 2022 — ultrapassa a produção de dados rotulados necessária para o aprendizado supervisionado. Isso cria uma necessidade crítica de métodos de detecção capazes de generalizar para exemplos não vistos ou adversários com supervisão mínima.

Metodologia

Os autores apresentam um benchmark abrangente avaliando três Grandes Modelos de Linguagem (LLMs) proprietários — GPT-4o (OpenAI), Claude-3.7-sonnet-20250219 (Anthropic) e Grok-3-Beta (xAI) — na tarefa de classificação de URLs de phishing. O estudo utiliza um framework de prompting unificado para avaliar o desempenho sob configurações zero-shot e few-shot.

Configuração Experimental

• Conjunto de Dados: A avaliação utiliza o conjunto de dados PhiUSIIL Phishing URL.
  • Avaliação Balanceada: Um corpus de 10.000 URLs (5.000 phishing, 5.000 legítimas) foi construído usando amostragem aleatória.
  • Avaliação Desbalanceada: Testes de 1.000 URLs foram criados com proporções de phishing de 1% e 10% para simular distribuições de classes do mundo real.
• Construção de Prompt:
  • Zero-shot ($P_{ZS}$): Consiste em uma instrução de tarefa ($I$) e uma consulta ($Q(u)$). A instrução define o modelo como um especialista em segurança cibernética e solicita uma resposta binária (0 para phishing, 1 para legítima).
  • Few-shot ($P_{FS}$): Inclui a instrução, a consulta e um conjunto de exemplos ($E$). Nos experimentos balanceados, foram utilizados 6 exemplos (3 phishing, 3 legítimas). Nos experimentos desbalanceados, o número de exemplos variou (1, 3 ou 9).
• Inferência: Todos os modelos foram acessados via suas APIs oficiais com uma temperatura de 0 e um máximo de saída de 10 tokens. As respostas foram analisadas para extrair previsões binárias.
• Métricas: O desempenho foi quantificado usando seis métricas: Acurácia, Precisão Macro-média, Recall, F1-score, AUROC e AUPRC.

Principais Contribuições

O artigo apresenta três contribuições primárias para a comunidade de pesquisa em IA e segurança cibernética:

1. Benchmark Unificado: Estabelece um benchmark padronizado para LLMs proprietários ajustados por instrução (instruction-tuned) na detecção de URLs de phishing, comparando capacidades zero-shot e few-shot entre múltiplos modelos.
2. Avaliação Controlada: O estudo avalia os modelos em um conjunto de dados balanceado usando designs de prompt consistentes e agnósticos ao modelo, abordando a falta de comparação justa na literatura anterior, onde os conjuntos de dados ou métricas frequentemente variavam.
3. Reprodutibilidade: Os autores liberam seu código para facilitar pesquisas futuras e a reprodutibilidade.

Resultados Experimentais

Conjunto de Dados Balanceado (10.000 URLs)

O prompting few-shot com seis exemplos melhorou significativamente o desempenho de todos os modelos em comparação com as linhas de base zero-shot.

• Grok-3-Beta emergiu como o melhor performer na configuração few-shot, alcançando a maior Acurácia (0.9405), Precisão (0.9492), F1-score (0.9399), AUROC (0.9405) e AUPRC (0.9573). Demonstrou uma mudança notável no trade-off de precisão-recall, aumentando a precisão de 0.8361 para 0.9492 enquanto reduzia levemente o recall.
• Claude-3.7 alcançou o maior Recall (0.9526) na configuração few-shot, mas teve menor precisão em comparação ao Grok-3-Beta.
• GPT-4o mostrou ganhos consistentes em todas as métricas, mas ficou atrás dos outros dois modelos em desempenho geral.
• Matrizes de Confusão: O prompting few-shot reduziu os falsos negativos em todos os modelos. O Grok-3-Beta reduziu os falsos negativos de 950 (zero-shot) para 248 (few-shot).

Conjunto de Dados Desbalanceado (Proporções de Phishing de 1% e 10%)

• Desempenho Zero-Shot: O Grok-3-Beta demonstrou fortes capacidades zero-shot, alcançando uma acurácia de 0.976 e recall de 0.938 em uma proporção de 10% de phishing.
• Sensibilidade Few-Shot: O impacto do número de exemplos variou conforme o modelo:
  • Grok-3-Beta: Atingiu o pico com apenas 1 exemplo (F1: 0.906) e o desempenho degradou levemente com 3 ou 9 exemplos.
  • Claude-3.7: Mostrou uma melhoria constante conforme o número de exemplos aumentava, atingindo seu melhor F1-score (0.876) com 9 exemplos.
  • GPT-4o: Demonstrou ganhos consistentes de 1 exemplo (F1: 0.709) para 9 exemplos (F1: 0.861).
• Robustez: Os modelos mantiveram um desempenho robusto através de diferentes sementes aleatórias (S123, S456), com diferenças de F1-score abaixo de 0.05 no desbalanceamento de 10%.

Significância e Alegações

O artigo argumenta que, à medida que as táticas de phishing evoluem mais rápido do que os dados rotulados podem ser produzidos, o aprendizado zero-shot e few-shot com LLMs oferece uma solução oportuna e adaptável. O estudo conclui que o prompting few-shot melhora efetivamente o desempenho de detecção em múltiplos LLMs proprietários, permitindo a generalização com supervisão mínima.

Especificamente, os autores alegam que:

• Abordagens baseadas em prompt podem detectar URLs de phishing efetivamente com muito poucos exemplos (ex: Grok-3-Beta performando bem com um único exemplo).
• Existem trade-offs operacionais distintos entre os modelos; alguns (como o Grok-3-Beta) se destacam com o mínimo de exemplos e alta precisão, enquanto outros (como o Claude-3.7) podem se beneficiar de mais exemplos para maximizar o recall.
• O cenário atual carece de benchmarking unificado para LLMs neste domínio, e este trabalho preenche essa lacuna ao fornecer um framework de avaliação consistente.

Os autores mantêm um escopo modesto, observando que trabalhos futuros são necessários para validar esses achados em diversos conjuntos de dados, explorar estratégias de otimização de prompt e investigar os trade-offs entre inferência baseada em prompt e modelos ajustados (fine-tuned) em ambientes operacionais.