Resumen Técnico: ¿Pueden los LLM Razonar sobre la Propiedad de Marcas?

Planteamiento del Problema

Los defensores en ciberseguridad se enfrentan a una ambigüedad crítica al encontrar nuevos dominios que se asemejan a marcas populares: ¿es el dominio un sitio de squatting creado por un atacante para phishing, o es un dominio legítimo registrado por la propia marca para fines defensivos (por ejemplo, para bloquear typosquats) o lanzamientos de nuevos productos?

Los sistemas de seguridad actuales que marcan todos los dominios adyacentes a una marca como maliciosos sin verificar la propiedad generan falsos positivos significativos. Bloquear un dominio propiedad de una marca (por ejemplo, google-web.com propiedad de Google) perjudica a los usuarios finales, erosiona la confianza en las herramientas de seguridad y expone a los defensores a riesgos legales y reputacionales. El desafío central es la Inteligencia de Marca: la capacidad de determinar, a escala y en tiempo casi real, si un dominio específico es propiedad de o está afiliado a una marca conocida. Esta tarea es difícil porque las marcas registran continuamente nuevos dominios, adquieren otros y retiran los antiguos, mientras que los datos de WHOIS suelen estar protegidos por privacidad (privacy-proxied).

Metodología

Los autores presentan la primera evaluación empírica sistemática de los Modelos de Lenguaje de Gran Tamaño (LLM) como motores de inteligencia de marca. El estudio evalúa cuatro modelos de vanguardia (Gemini 2.5 Flash, Gemini 3.5 Flash, Claude Sonnet 4.5 y Claude Sonnet 4.6) a través de 36 de las marcas más víctimas de phishing (que abarcan finanzas, tecnología, redes sociales e infraestructura).

La evaluación se estructura en torno a tres tareas distintas:

1. Q1: Enumeración de Dominios: ¿Puede el LLM enumerar 50 dominios legítimamente propiedad de una marca a partir de su memoria?
2. Q2: Atribución de Marca: Dado un dominio no visto previamente (propio o de squatting), ¿puede el LLM identificar la marca asociada?
3. Q3: Verificación de Propiedad: ¿Puede el LLM determinar si un dominio específico pertenece a una marca específica (clasificación binaria)?

Configuraciones Experimentales:
Los modelos fueron probados bajo cuatro configuraciones de recuperación:

• ICL (Aprendizaje en Contexto): Sin herramientas externas; depende únicamente de los datos de entrenamiento.
• Búsqueda (Search): Acceso a una herramienta de búsqueda web de DuckDuckGo.
• WHOIS: Acceso a una herramienta de consulta WHOIS (que proporciona la organización registrante, el registrador y la fecha de creación).
• Search+WHOIS: Acceso combinado a ambas herramientas.

Construcción del Conjunto de Datos:
El ground truth (verdad fundamental) se estableció mediante un proceso de seis pasos que involucró escaneos de WHOIS de Tranco, coincidencia con Crunchbase, variantes de DNStwist, consultas de búsqueda, barridos de TLD y registros de Transparencia de Certificados (CT). El conjunto de datos incluye hasta 50 dominios propios y 50 dominios de squatting/no pertenecientes a la marca por cada marca.

Resultados Clave

1. Enumeración de Dominios (Q1)

• La memoria es fuerte: Los LLM poseen un conocimiento memorizado significativo de las carteras de marcas. Claude Sonnet 4.5 logró la mayor Precisión@50 media de 0.821 en modo ICL.
• Limitaciones de la Búsqueda: La búsqueda web no mejoró consistentemente el rendimiento. Para Gemini 2.5 Flash, la búsqueda causó una caída catastrófica en la precisión (a 0.047) debido a tiempos de espera de la herramienta y las consiguientes alucinaciones. Gemini 3.5 Flash fue el único modelo que se benefició de forma fiable de la búsqueda, mejorando ligeramente su puntuación de ICL.

2. Atribución de Marca (Q2)

• Alta Precisión: La atribución es generalmente precisa, con Claude Sonnet 4.6 alcanzando hasta 0.950 de precisión al utilizar WHOIS.
• Impacto de las Herramientas: WHOIS ayuda a confirmar la identidad para dominios propios, pero puede confundir a los modelos en dominios de squatting (donde el registrante es el atacante, no la marca). Claude Sonnet 4.5 mostró la mayor mejora gracias al aumento por recuperación (+0.307 puntos), lo que sugiere que compensa el débil conocimiento memorizado con el acceso a herramientas.

3. Verificación de Propiedad (Q3) – La Tarea Crítica

• Fallo de ICL: Sin herramientas externas, los modelos fallan al distinguir entre registros defensivos y ataques. En modo ICL, las puntuaciones de macro-F1 fueron bajas (máximo 0.37), y el recall (exhaustividad) fue extremadamente pobre (8–26%). Los modelos exhibieron un fuerte sesgo hacia la predicción de "no" (no es propiedad), lo que resultó en una tasa de falsos negativos del 74–92% para dominios propiedad de la marca (lo que significa que el 74–92% de los dominios legítimos serían pasados incorrectamente a clasificadores maliciosos de etapas posteriores).
• WHOIS es Decisivo: El aumento con la consulta WHOIS transformó el rendimiento. Las puntuaciones de macro-F1 aumentaron entre 0.47 y 0.65 puntos en todos los modelos.
  • Claude Sonnet 4.5 con Search+WHOIS logró un macro-F1 de 0.870 con una precisión casi perfecta (0.999) y un recall del 80.3%.
  • Claude Sonnet 4.6 con Search+WHOIS logró una precisión de 1.000 (cero falsos positivos en dominios de squatting) pero un recall menor (0.570), dejando un 43% de los dominios de la marca aún mal clasificados.
• Búsqueda Sola: La búsqueda web por sí sola no ayudó en Q3 y a menudo degradó el rendimiento al proporcionar menos contexto que el ICL cuando las consultas fallaban.

4. Eficiencia de Costos

• Gemini vs. Claude: Aunque los modelos Claude generalmente lograron una precisión bruta más alta, costaron 40–200× más por token que los modelos Gemini.
• Mejor Valor: Gemini 3.5 Flash con Search+WHOIS ofreció el mejor rendimiento por dólar, entregando un macro-F1 de 0.847 y una precisión de Q2 de 0.933 a una fracción del costo de Claude.

Significancia y Reivindicaciones

El artículo afirma proporcionar el primer estudio empírico riguroso de los LLM para todo el flujo de trabajo de inteligencia de marca. Sus principales contribuciones son:

1. Demostrar la "Dicotomía Marcada": Los LLM poseen un fuerte conocimiento memorizado para la enumeración y la atribución, pero son fundamentalmente poco fiables para la verificación de propiedad sin herramientas externas.
2. Identificar el Riesgo de Falsos Positivos: El estudio cuantifica que confiar únicamente en ICL para la verificación de propiedad resulta en tasas de falsos positivos inaceptablemente altas (el 74–92% de los dominios de la marca serían marcados como amenazas).
3. Validar WHOIS como la Herramienta Crítica: Los autores concluyen que el aumento de WHOIS es transformador y necesario para reducir los falsos positivos. Es el único escenario que corrige el sesgo del modelo hacia el "no es propiedad".
4. Recomendaciones de Flujo de Trabajo Práctico: Los autores proponen un flujo de tres etapas para los profesionales:
   • Usar Claude Sonnet 4.5 (ICL) para construir un inventario inicial de dominios.
   • Usar Claude Sonnet 4.6 o Gemini 3.5 Flash (con WHOIS) para la atribución.
   • Usar modelos aumentados con WHOIS como una puerta de enlace obligatoria antes de cualquier clasificación maliciosa para verificar la propiedad.

El artículo concluye que, si bien los LLM son motores prometedores de configuración cero, deben combinarse con consultas de WHOIS en vivo para ser fiables para la protección de marca. La búsqueda web se considera poco fiable para esta tarea específica. Los autores sugieren que el trabajo futuro debería explorar el ajuste fino (fine-tuning) en tareas de inteligencia de marca e integrar fuentes de transparencia de certificados en vivo para manejar dominios registrados después del corte de entrenamiento del modelo.