Eliciting Least-to-Most Reasoning for Phishing URL Detection

Resumo Técnico: Estimulando o Raciocínio de Menor para Maior para Detecção de URLs de Phishing

Definição do Problema
O phishing continua sendo um vetor primário para ataques cibernéticos e violações de dados. Embora os métodos tradicionais de detecção (aprendizado de máquina, aprendizado profundo e abordagens baseadas em URL) ofereçam alta precisão, eles frequentemente funcionam como "caixas pretas", carecendo de interpretabilidade sobre o porquê de uma URL específica ser classificada como benigna ou maliciosa. Além disso, esses modelos supervisionados geralmente exigem grandes conjuntos de dados rotulados e têm dificuldade em generalizar entre diferentes conjuntos de dados. Embora os Grandes Modelos de Linguagem (LLMs) tenham mostrado promessa na detecção de phishing via prompting de poucos disparos (few-shot prompting), as abordagens existentes frequentemente tratam o processo de raciocínio do modelo como um processo de etapa única ou uma caixa preta, falhando em analisar como o próprio processo de raciocínio influencia a previsão final.

Metodologia
Os autores propõem um framework de prompting de Menor para Maior (Least-to-Most) especificamente adaptado para a detecção de URLs de phishing. Diferente das estratégias de prompting padrão (como One-shot ou Chain-of-Thought) que geram previsões em um único prompt ou em uma única cadeia, este framework instrui o LLM a decompor o problema de classificação em subproblemas menores e iterativos.

Um componente inovador deste trabalho é o mecanismo de "sensibilidade de resposta" (answer sensitivity). Neste processo iterativo:

1. O LLM gera uma subpergunta referente a uma característica específica da URL (ex: estrutura do domínio, nomes de diretórios).
2. O modelo responde à subpergunta e fornece uma estimativa percentual da probabilidade de a URL ser phishing (0% = benigna, 100% = phishing).
3. Esta porcentagem atua como um guia para a iteração. O processo continua até que o escore de sensibilidade cruze limiares definidos pelo usuário (ex: ≥90% para phishing ou ≤10% para benigna).
4. Para evitar loops infinitos, o framework limita programaticamente as iterações a 10. Se o limiar não for atingido até a 10ª iteração, a URL é classificada conservadoramente com base no escore final.

Principais Contribuições

1. Proposta de Framework: A introdução de um framework de prompting de Menor para Maior para detecção de URLs de phishing que decompõe explicitamente o problema em subperguntas iterativas.
2. Mecanismo de Sensibilidade de Resposta: O desenvolvimento de um mecanismo que guia o processo de raciocínio iterativo através de estimativas de confiança baseadas em porcentagem, permitindo que o modelo refine sua previsão ao longo de múltiplas etapas em vez de se comprometer com uma resposta de disparo único (single-shot).
3. Avaliação Empírica: Uma avaliação abrangente usando três conjuntos de dados públicos de URL (HP, EBBU, ISCX) e quatro LLMs de última geração (Gemma 3, Llama 3.1, GPT-4.1, Gemini 2.5-Flash). O framework foi comparado contra uma linha de base de prompting One-shot e um modelo supervisionado baseado em BERT (URLTran).

Resultos
Os resultados experimentais demonstram que o framework de Menor para Maior supera consistentemente a linha de base One-shot e se aproxima do desempenho do modelo supervisionado URLTran, apesar de não exigir dados de treinamento rotulados.

• Ganhos de Desempenho: A abordagem de Menor para Maior alcançou um F1 score médio de 0,9040 em todos os conjuntos de dados e modelos, comparado a 0,8726 para a linha de base One-shot (uma melhoria média de 0,03 no F1).
• Comparação com Modelos Supervisionados: Em sua configuração de melhor desempenho (Gemini 2.5-Flash), o framework alcançou um F1 médio de 0,9621, o que está dentro de 0,03 F1 do escore do modelo supervisionado URLTran de 0,99.
• Efetividade Iterativa: A análise revelou que, embora muitas previsões corretas exigissem poucas iterações, um número significativo de previsões corretas só foi possível após um número de iterações "atípico" (outlier). O mecanismo de sensibilidade de resposta permitiu que o modelo corrigisse classificações iniciais incorretas (ex: uma URL inicialmente pontuada em 25% de phishing subindo para 90% após seis iterações) que o método One-shot teria perdido.
• Consistência: Em quase todos os casos, o Menor para Maior produziu mais previsões corretas únicas e menos previsões incorretas do que o método One-shot, mesmo para modelos de menor desempenho, como o Llama.

Significância
O artigo afirma que este trabalho demonstra o valor do raciocínio estruturado de múltiplas etapas em LLMs para tarefas de segurança. Ao ir além de prompts de etapa única, o framework elicita capacidades de raciocínio mais fortes que melhoram a precisão da previsão sem a necessidade de extensos dados de treinamento ou exemplos de poucos disparos (few-shot). O mecanismo de "sensibilidade de resposta" é destacado como um fator crítico para impulsionar esses ganhos, pois permite que o modelo refine iterativamente sua avaliação da maliciosidade de uma URL. Os autores concluem que esta estratégia de prompting simples, porém poderosa, oferece uma alternativa robusta e interpretável tanto para modelos supervisionados tradicionais quanto para técnicas de prompting padrão para detecção de phishing.