WETBench: A Benchmark for Detecting Task-Specific Machine-Generated Text on Wikipedia

Resumen Técnico: WETBench: Un Benchmark para la Detección de Texto Generado por Máquinas con Tareas Específicas en Wikipedia

Planteamiento del Problema
Wikipedia sirve como un conjunto de datos fundamental para el entrenamiento de modelos de lenguaje extensos (LLMs); sin embargo, la plataforma enfrenta riesgos crecientes debido a la proliferación de texto de baja calidad generado por máquinas (MGT). Las investigaciones existentes han desarrollado detectores para MGT, pero estos benchmarks evalúan predominantemente el rendimiento en tareas de generación genéricas y abiertas (por ejemplo, "Escribe un artículo sobre X"). Los autores argumentan que este enfoque no se alinea con las prácticas de edición reales de Wikipedia, que son típicamente específicas de una tarea, incrementales y condicionadas por el contexto. En consecuencia, los detectores entrenados en datos genéricos pueden fallar al generalizarse a escenarios editoriales realistas, dejando a la plataforma vulnerable a alucinaciones, sesgos y problemas de integridad de contenido. Además, trabajos previos suelen depender de prompts únicos para generar artículos enteros, una práctica explícitamente desaconsejada por la comunidad de Wikipedia.

Metodología
Para abordar esta falta de alineación, los autores introducen WETBench, un benchmark multilingüe, multigenerador y de tareas específicas diseñado para simular los flujos de trabajo reales de los editores. La metodología involucra tres componentes principales:

1. Construcción del Conjunto de Datos: Los autores construyeron dos nuevos corpora que cubren inglés, portugués y vietnamita:

   • WikiPS: Una colección a gran escala de párrafos de alta calidad de Wikipedia y tríos de introducción–infobox–cuerpo, filtrados para asegurar la ausencia de contaminación por MGT (usando revisiones previas a ChatGPT).
   • mWNC: Una extensión multilingüe del Wikipedia Neutrality Corpus (WNC), que incluye pares de texto sesgado y neutralizado a nivel de oración y de párrafo.

2. Definición de Tareas e Ingeniería de Prompts: El benchmark define tres tareas de edición basadas en casos de uso de editores:

   • Escritura de Párrafos: Generar un nuevo párrafo de sección desde cero. Los autores evaluaron prompts que van desde instrucciones mínimas hasta prompts condicionados por contenido y Generación Aumentada por Recuperación (RAG) Naive. Se determinó que el Naive RAG es la estrategia óptima para generar MGT.
   • Resumen: Generar una sección de introducción basada en el cuerpo del artículo y el infobox. Se determinó que el prompting de un solo paso (one-shot) es la estrategia más efectiva.
   • Transferencia de Estilo de Texto (TST): Neutralizar oraciones o párrafos sesgados para alinearlos con la política de Punto de Vista Neutral (NPOV) de Wikipedia. El prompting de cinco pasos (five-shot) arrojó los mejores resultados.

3. Configuración Experimental:

   • Generadores: El MGT fue generado utilizando cuatro modelos (GPT-4o mini, Gemini 2.0 Flash, Qwen2.5-7B-Instruct, Mistral-7B-Instruct) a través de los tres idiomas.
   • Detectores: El benchmark evaluó ocho detectores de última generación (SOTA) de tres familias: basados en entrenamiento (XLM-RoBERTa, mDeBERTa), zero-shot de caja blanca (Binoculars, LLR, FastDetectGPT-WB) y zero-shot de caja negra (Revise-Detect, GECScore, FastDetectGPT-BB).
   • Escala: El benchmark final comprende 101,940 textos (escritos por humanos y generados por máquinas) a través de tareas, idiomas y generadores.

Contribuciones Clave

• Benchmark WETBench: El lanzamiento de un benchmark exhaustivo que contiene 101,940 textos específicos de tareas, cubriendo tres idiomas con distintos niveles de recursos, cuatro generadores y ocho detectores.
• Nuevos Corpora: La creación y el lanzamiento de WikiPS (párrafos y pares de introducción-contenido) y mWNC (corpus de neutralidad multilingüe con pares a nivel de párrafo), los cuales están disponibles para una investigación de IA más amplia más allá de la detección de MGT.
• Evaluación Empírica: Una evaluación sistemática de los detectores SOTA en escenarios de edición realistas y específicos de tareas, contrastando marcadamente con los benchmarks de generación abierta previos.

Resultados
La evaluación revela desafíos significativos para los métodos de detección actuales en entornos realistas:

• Rendimiento General: Los detectores tienen dificultades significativas en comparación con los resultados en benchmarks genéricos. Los detectores basados en entrenamiento lograron una precisión promedio del 78%, mientras que los detectores zero-shot promediaron solo un 58%.
• Varianza de Tareas: La precisión de la detección varió según la tarea. El Resumen fue lo más fácil de detectar (los detectores supervisados alcanzaron aproximadamente un 89% de precisión), seguido de la Escritura de Párrafos. La Transferencia de Estilo de Texto (TST) resultó ser la más difícil, con precisiones que a menudo rondan el azar para los métodos zero-shot y solo ligeramente superiores para los métodos supervisados.
• Varianza de Métodos: Los detectores supervisados (basados en entrenamiento) superaron consistentemente a los métodos zero-shot en todas las tareas e idiomas. Entre los métodos zero-shot, los detectores de caja negra (específicamente GECScore) generalmente funcionaron mejor que los de caja blanca, aunque el rendimiento varió según el idioma y el generador.
• Efectos de Modelo e Idioma: Los generadores más pequeños (por ejemplo, Mistral, Qwen) dejaron rastros más detectables para los modelos de entrenamiento, mientras que los modelos más grandes (por ejemplo, GPT-4o) fueron más difíciles de detectar. El rendimiento también se degradó en idiomas de bajos recursos (vietnamita), donde algunos modelos (por ejemplo, Mistral) no siguieron las instrucciones, creando artefactos que los detectores basados en entrenamiento pudieron explotar pero los métodos zero-shot no.

Significancia y Reivindicaciones
El artículo afirma que WETBench proporciona un necesario baño de realidad para el campo de la detección de MGT. Los autores sostienen que los detectores existentes, aunque efectivos en tareas genéricas, carecen de la generalizabilidad requerida para los contextos reales impulsados por editores en Wikipedia. Los resultados subrayan que:

1. La Especificidad de la Tarea Importa: Las características textuales del MGT específico de una tarea (por ejemplo, neutralizar una oración) se asemejan estrechamente a la escritura humana, lo que las hace más difíciles de distinguir que la generación abierta.
2. Limitaciones Actuales: Existe una incertidumbre sustancial respecto a la fiabilidad de los métodos de detección automatizados actuales para salvaguardar la integridad del conocimiento de Wikipedia.
3. Dirección Futura: Los autores abogan por evaluar los detectores en datos que reflejen los flujos de trabajo prácticos de los editores en lugar de la generación sintética y abierta. Posicionan a WETBench como una herramienta para informar a la comunidad de Wikimedia y a la comunidad de investigación de IA en general sobre la viabilidad actual y las limitaciones de la detección de MGT, en lugar de pretender haber resuelto el problema de la detección por completo.

El artículo concluye con una perspectiva modesta, señalando que, si bien sus hallazgos resaltan las limitaciones actuales, el benchmark está diseñado para ser extensible con tareas, idiomas y generadores adicionales a medida que el campo evoluciona.