Resumo Técnico: Os LLMs conseguem raciocinar sobre a propriedade de marcas?

Declaração do Problema

Defensores em cibersegurança enfrentam uma ambiguidade crítica ao encontrar novos domínios que se assemelham a marcas populares: o domínio é um site de squatting criado por um atacante para phishing, ou é um domínio legítimo registrado pela própria marca para fins defensivos (ex: bloquear typosquats) ou lançamentos de novos produtos?

Sistemas de segurança atuais que sinalizam todos os domínios adjacentes a uma marca como maliciosos, sem verificar a propriedade, geram falsos positivos significativos. Bloquear um domínio de propriedade de uma marca (ex: google-web.com pertencente ao Google) prejudica os usuários finais, erode a confiança nas ferramentas de segurança e expõe os defensores a riscos legais e reputacionais. O desafio central é a Inteligência de Marca: a capacidade de determinar, em escala e quase em tempo real, se um domínio específico é de propriedade de ou afiliado a uma marca conhecida. Esta tarefa é difícil porque as marcas registram continuamente novos domínios, adquirem outros e aposentam antigos, enquanto os dados de WHOIS são frequentemente protegidos por proxies de privacidade.

Metodologia

Os autores apresentam a primeira avaliação empírica sistemática de Grandes Modelos de Linguagem (LLMs) como motores de inteligência de marca. O estudo avalia quatro modelos de última geração (Gemini 2.5 Flash, Gemini 3.5 Flash, Claude Sonnet 4.5 e Claude Sonnet 4.6) em 36 das marcas mais visadas por phishing (abrangendo finanças, tecnologia, redes sociais e infraestrutura).

A avaliação é estruturada em torno de três tarefas distintas:

1. Q1: Enumeração de Domínios: O LLM consegue enumerar 50 domínios legitimamente pertencentes a uma marca a partir da memória?
2. Q2: Atribuição de Marca: Dado um domínio não visto (de propriedade ou squatting), o LLM consegue identificar a marca associada?
3. Q3: Verificação de Propriedade: O LLM consegue determinar se um domínio específico pertence a uma marca específica (classificação binária)?

Configurações Experimentais:
Os modelos foram testados sob quatro configurações de recuperação:

• ICL (Aprendizado em Contexto): Sem ferramentas externas; depende exclusivamente dos dados de treinamento.
• Search (Busca): Acesso a uma ferramenta de busca na web DuckDuckGo.
• WHOIS: Acesso a uma ferramenta de consulta WHOIS (fornecendo organização registradora, registradora e data de criação).
• Search+WHOIS: Acesso combinado a ambas as ferramentas.

Construção do Dataset:
A verdade fundamental (ground truth) foi estabelecida via um pipeline de seis etapas envolvendo varreduras de WHOIS do Tranco, correspondência via Crunchbase, variantes de DNStwist, consultas de busca, varreduras de TLD e logs de Transparência de Certificados (CT). O dataset inclui até 50 domínios próprios e 50 domínios de squatting/não pertencentes à marca por marca.

Principais Resultados

1. Enumeração de Domínios (Q1)

• A Memória é Forte: Os LLMs possuem um conhecimento memorizado significativo de portfólios de marcas. O Claude Sonnet 4.5 alcançou a maior Precisão@50 média de 0,821 no modo ICL.
• Limitações da Busca: A busca na web não melhorou o desempenho de forma consistente. Para o Gemini 2.5 Flash, a busca causou uma queda catastrófica na precisão (para 0,047) devido a timeouts da ferramenta e subsequentes alucinações. O Gemini 3.5 Flash foi o único modelo a se beneficiar de forma confiável da busca, melhorando ligeiramente seu escore de ICL.

2. Atribuição de Marca (Q2)

• Alta Precisão: A atribuição é geralmente precisa, com o Claude Sonnet 4.6 alcançando até 0,950 de precisão ao usar WHOIS.
• Impacto da Ferramenta: O WHOIS ajuda a confirmar a identidade para domínios próprios, mas pode confundir os modelos em domínios de squatting (onde o registrante é o atacante, não a marca). O Claude Sonnet 4.5 mostrou o maior melhoria com a aumentação de recuperação (+0,307 pontos), sugerindo que ele compensa o conhecimento memorizado fraco com o acesso à ferramenta.

3. Verificação de Propriedade (Q3) – A Tarefa Crítica

• Falha do ICL: Sem ferramentas externas, os modelos falham em distinguir registros defensivos de ataques. No modo ICL, os escores macro-F1 foram baixos (máximo de 0,37), e o recall foi extremamente pobre (8–26%). Os modelos exibiram um forte viés para prever "não" (não pertence), levando a uma taxa de falso-negativo de 74–92% para domínios de propriedade de marca (significando que 74–92% dos domínios legítimos seriam incorretamente passados para classificadores maliciosos subsequentes).
• WHOIS é Decisivo: Aumentar com a consulta WHOIS transformou o desempenho. Os escores macro-F1 subiram de 0,47 a 0,65 pontos em todos os modelos.
  • O Claude Sonnet 4.5 com Search+WHOIS alcançou um macro-F1 de 0,870 com precisão quase perfeita (0,999) e 80,3% de recall.
  • O Claude Sonnet 4.6 com Search+WHOIS alcançou 1,000 de precisão (zero falsos positivos em domínios de squatting), mas com menor recall (0,570), deixando 43% dos domínios de propriedade de marca ainda classificados incorretamente.
• Busca Isolada: A busca na web sozinha não ajudou no Q3 e frequentemente degradou o desempenho ao fornecer menos contexto do que o ICL quando as consultas falhavam.

4. Eficiência de Custo

• Gemini vs. Claude: Embora os modelos Claude tenham alcançado, em geral, maior precisão bruta, eles custam 40–200× mais por token do que os modelos Gemini.
• Melhor Valor: O Gemini 3.5 Flash com Search+WHOIS ofereceu o melhor desempenho por dólar, entregando um macro-F1 de 0,847 e precisão de Q2 de 0,933 a uma fração do custo do Claude.

Significância e Alegações

O artigo afirma fornecer o primeiro estudo empírico rigoroso de LLMs para o pipeline completo de inteligência de marca. Suas principais contribuições são:

1. Demonstrar a "Dicotomia Marcante": Os LLMs possuem forte conhecimento memorizado para enumeração e atribuição, mas são fundamentalmente não confiáveis para verificação de propriedade sem ferramentas externas.
2. Identificar o Risco de Falso-Positivo: O estudo quantifica que confiar apenas em ICL para verificação de propriedade resulta em taxas de falsos-positos inaceitavelmente altas (74–92% dos domínios de propriedade de marca seriam sinalizados como ameaças).
3. Validar o WHOIS como a Ferramenta Crítica: Os autores concluem que a aumentação via WHOIS é transformadora e necessária para reduzir falsos positivos. É o único cenário que corrige o viés do modelo para "não pertence".
4. Recomendações de Pipeline Prático: Os autores propõem um pipeline de três estágios para profissionais:
   • Use Claude Sonnet 4.5 (ICL) para construir um inventário inicial de domínios.
   • Use Claude Sonnet 4.6 ou Gemini 3.5 Flash (com WHOIS) para atribuição.
   • Use modelos aumentados com WHOIS como um portão obrigatório antes de qualquer classificação maliciosa para verificar a propriedade.

O artigo conclui que, embora os LLMs sejam motores promissores de configuração zero, eles devem ser pareados com consultas de WHOIS ao vivo para serem confiáveis para proteção de marca. A busca na web é considerada pouco confiável para esta tarefa específica. Os autores sugerem que trabalhos futuros explorem o ajuste fino (fine-tuning) em tarefas de inteligência de marca e a integração de feeds de transparência de certificados ao vivo para lidar com domínios registrados após o corte de treinamento do modelo.