One Word is Enough: Minimal Adversarial Perturbations for Neural Text Ranking

Resumen Técnico: Una palabra es suficiente: Perturbaciones adversarias mínimas para el ranking de texto neuronal

Planteamiento del problema
Los Modelos de Ranking Neuronal (NRM, por sus siglas en inglés), particularmente aquellos basados en arquitecturas Transformer como BERT y T5, han establecido un rendimiento de vanguardia en tareas de búsqueda y ranking. Sin embargo, investigaciones previas han demostrado su vulnerabilidad ante perturbaciones adversarias: modificaciones de texto pequeñas y cuidadosamente diseñadas que alteran los resultados de ranking sin cambiar significativamente el significado percibido por un humano. Los ataques existentes, como PRADA, a menudo dependen de manipulaciones de múltiples palabras, entrenamiento de modelos sustitutos o ediciones extensas de texto, lo que plantea interrogantes sobre la necesidad de tal complejidad. Este estudio investiga si los NRM son vulnerables incluso a perturbaciones más mínimas y conscientes de la consulta (query-aware): específicamente, si insertar o sustituir una sola palabra es suficiente para promover el rango de un documento objetivo.

Metodología
Los autores proponen un marco de ataque adversario mínimo centrado en el concepto de un "centro de la consulta" (query center). Este se define como el token en el vocabulario de embeddings más cercano al centroide del embedding semántico de la consulta del usuario. La estrategia de ataque consiste en identificar este centro de la consulta e insertarlo o sustituirlo dentro de un documento objetivo en una posición estratégicamente elegida.

El artículo introduce tres variantes específicas para determinar la posición óptima para esta perturbación de una sola palabra:

1. one_word_start: Un método heurístico que inserta el centro de la consulta al principio del documento, aprovechando la conocida sensibilidad posicional de los rankers basados en BERT hacia los primeros tokens.
2. one_word_sim: Un método de sustitución heurística que reemplaza el token del documento semánticamente más similar (pero no idéntico) al centro de la consulta con el propio centro de la consulta.
3. one_word_best_grad: Un método de caja blanca guiado por gradientes. Calcula la norma del gradiente de una pérdida hinge de pares (pairwise hinge loss) con respecto a los embeddings de entrada de cada token. Se identifican las $k$ posiciones con las normas de gradiente más altas, y el centro de la consulta se inserta en la posición que produce el máximo incremento de puntuación.

Contribuciones clave

• Marco de perturbación mínima: El estudio demuestra que una modificación de una sola palabra, guiada por el centro de la consulta, es suficiente para alterar significativamente los resultados de ranking en rankers neuronales robustos.
• Nuevas métricas de diagnóstico: Más allá de las tasas de éxito agregadas, los autores introducen:
  • Porcentaje de Perturbación (PP): Mide el porcentaje promedio de tokens modificados para cuantificar la minimicidad del ataque.
  • Tasa de Éxito de Intervalo (ISR): Analiza el éxito del ataque a través de intervalos de rango específicos (por ejemplo, rangos 11–20, 21–30) para identificar vulnerabilidades específicas dentro de la lista clasificada.
• Identificación de la "Zona Goldilocks": A través del análisis de ISR, el artículo revela que los documentos de rango medio (aproximadamente rangos 40–80) son los más vulnerables a estos ataques mínimos, mientras que los documentos de alto rango suelen estar saturados en puntuaciones de relevancia y los de bajo rango están demasiado distantes semánticamente para beneficiarse de una sola inserción.

Resultados experimentales
Los experimentos se realizaron utilizando los conjuntos de datos TREC-DL 2019 y 2020 con dos rankers ampliamente utilizados: BERT-base-mdoc-BM25 y monoT5-base-MSMARCO. Los métodos propuestos fueron evaluados frente a PRADA bajo idénticas condiciones de caja blanca para asegurar la equidad.

• Tasa de Éxito (SR): El enfoque one_word_best_grad alcanzó una tasa de éxito de hasta el 91% en TREC-DL 2019 y del 87% en TREC-DL 2020 para el ranker BERT, modificando menos de dos tokens por documento en promedio.
• Similitud Semántica: Los documentos perturbados mantuvieron una alta similitud de coseno (aprox. 0.97–0.98) con el texto original, superando significativamente a PRADA, que mostró puntuaciones de similitud más bajas (indicando perturbaciones mayores).
• Eficiencia: Aunque PRADA logró tasas de éxito ligeramente superiores en algunos casos, requirió sustancialmente más ediciones (un Porcentaje de Perturbación de ~12–13% frente a ~1.5% para el método propuesto). Los heurísticos propuestos (one_word_start y one_word_sim) también lograron tasas de éxito no despreciables (30–60%) con un cambio de una sola palabra.
• Aumento de Rango y Puntuación: Las ediciones mínimas resultaron en aumentos de rango y puntuación competitivos en relación con PRADA, confirmando que los pequeños cambios semánticos pueden alterar significativamente la confianza del modelo.

Significancia y Reivindicaciones
El artículo afirma que estos hallazgos resaltan un riesgo práctico en los pipelines de recuperación neuronal de múltiples etapas: incluso tasas de éxito moderadas (alrededor del 50%) con ediciones mínimas y semánticamente plausibles pueden desplazar documentos hacia etapas de recuperación superiores debido al agresivo recorte de candidatos (candidate pruning). El descubrimiento de la "zona Goldilocks" sugiere que la robustez se distribuye de manera desigual a lo largo de la lista clasificada, un matiz que no es capturado por las métricas agregadas por sí solas. Los autores concluyen que estos resultados motivan el desarrollo de arquitecturas de ranking más robustas y defensas contra perturbaciones mínimas semánticamente alineadas. Se propone como trabajo futuro extender estas estrategias a entornos de caja negra, rankers recientes basados en LLM y tareas relacionadas como la búsqueda conversacional y la recomendación.