💬 NLP

EVIL-Detect for NLPCC 2026 Shared Task 6: LLM-Generated Text Detection

Este artículo presenta EVIL-Detect, un marco de ensamble de múltiples señales con fusión consciente del conflicto que obtuvo el primer lugar en la Tarea Compartida 6 de NLPCC 2026 al detectar eficazmente texto generado por LLM, escrito por humanos y refinado por LLM en escenarios en chino.

Autores originales: Hongrui Bao, Hangyu Rong, Zhuoshang Wang, Yubing Ren, Yanan Cao

Publicado 2026-08-12

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Hongrui Bao, Hangyu Rong, Zhuoshang Wang, Yubing Ren, Yanan Cao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina el internet como una biblioteca gigante y bulliciosa donde los libros son escritos tanto por humanos como por un nuevo tipo de bibliotecario increíblemente rápido: la Inteligencia Artificial. Durante mucho tiempo, estos bibliotecarios de IA (llamados Modelos de Lenguaje Extensos o LLM) solo podían escribir notas simples, pero ahora pueden escribir historias, ensayos y artículos enteros que suenan casi exactamente como si un humano los hubiera escrito. Esto es un arma de doble filo. Por un lado, es un superpoder para la creatividad; por otro, hace que sea difícil distinguir quién escribió realmente un texto. Si un estudiante entrega un ensayo, ¿cómo sabemos si lo escribió él, si lo escribió una IA, o si le pidió ayuda a una IA para pulir su borrador inicial? Este es el gran rompecabezas que los científicos están tratando de resolver: construir un "detector de mentiras" para el texto que pueda distinguir entre un humano, un robot y un equipo de humano-robot.

En esta historia, un equipo de investigadores de China ha construido una nueva herramienta llamada EVIL-Detect para resolver este rompecabezas. No construyeron solo un detector; construyeron un "escuadrón de detectives" que trabajan juntos para atrapar la verdad. Su sistema fue probado en una competencia importante llamada NLPCC 2026, donde enfrentó un desafío complicado: distinguir entre tres tipos de texto: escritura puramente humana, escritura puramente de IA y texto que fue escrito por un humano pero luego editado o pulido por una IA. Mientras que otros métodos intentaban adivinar la respuesta con un solo cerebro, EVIL-Detect utilizó un enfoque de equipo, combinando diferentes pistas para obtener la respuesta correcta. En la puntuación final, su sistema logró una puntuación macro-F1 de 0.8888, ocupando el primer lugar en la evaluación oficial.

El Problema: El Misterio de las "Tres Vías"

La mayoría de los detectores de la vieja escuela eran como interruptores binarios: solo podían decir "Humano" o "IA". Pero el mundo real es más desordenado. La gente suele usar la IA para corregir su gramática o hacer que su escritura suene mejor. Esto crea una tercera categoría: texto refinado por LLM. Imagina que un estudiante escribe un borrador (Humano), luego le pide a una IA que "haga que esto suene más profesional" (Refinado), o una IA escribe toda una historia desde cero (IA). El desafío es que el texto "Refinado" parece una mezcla de ambos, lo que lo hace muy difícil de detectar.

Los investigadores descubrieron que si simplemente intentas enseñar a una computadora a adivinar las tres categorías a la vez, esta se confunde. En sus pruebas, un método estándar que intentaba aprender las tres categorías directamente funcionó terriblemente, puntuando solo 0.1690 en la prueba. Era como intentar enseñarle a un perro a hablar tres idiomas a la vez; simplemente se rendía.

La Solución: El Escuadrón de Detectives (EVIL-Detect)

En lugar de un gran cerebro, el equipo construyó EVIL-Detect (que significa Aprendizaje Integrado de Vistas Consciente de la Edición). Piensa en este sistema como un equipo de cuatro detectives diferentes, cada uno mirando el texto a través de un par de gafas distinto. No solo votan; hablan entre sí y resuelven sus desacuerdos para llegar a un veredicto final.

Aquí están los cuatro detectives y lo que buscan:

El "Detective de la Edición" (Entrenamiento Supervisado): Este detective está entrenado para medir cuánto fue cambiado el texto. Observa la diferencia entre el estilo original de un humano y la versión final. Si el texto es puramente humano, el cambio es cero. Si es puramente IA, el cambio es enorme. Si es "Refinado", el cambio está en algún punto intermedio. Este detective da una puntuación en una escala deslizante de 0 a 1, diciéndole al equipo qué tan "editado" se siente el texto.
El "Detective de Cero Disparos" (EchoPrompt): Este detective no necesita ser entrenado con los datos específicos. Utiliza un truco ingenioso: le pregunta al texto: "¿Suena esto como algo que un robot diría?", comparando qué tan probable es que diferentes modelos de IA generen ese texto. Si el texto suena mucho como la salida natural de un robot, este detective levanta una bandera roja de "generado por IA".
El "Detective del Conteo de Palabras" (Estadística Lexical): Este detective observa los detalles pequeños y aburridos: con qué frecuencia aparecen ciertas palabras o combinaciones de letras. Los humanos y los robots tienden a usar "huellas dactilares" de palabras diferentes. Este detective cuenta estos patrones para ver si el texto se inclina más hacia los hábitos humanos o los hábitos de las máquinas.
El "Detective del Libro de Reglas" (Reglas de Texto): Este es la red de seguridad. Busca señales obvias que un humano no cometería, como código de computadora sobrante (etiquetas HTML como <div> o <html>) o oraciones sin terminar que parecen que un robot se quedó a medias. Si ve esto, marca inmediatamente el texto como IA.

Cómo Trabajan Juntos: La Reunión "Consciente del Conflicto"

La magia de EVIL-Detect no es solo tener cuatro detectives; es cómo manejan cuando no están de acuerdo. A veces, el "Detective de la Edición" piensa que un texto es "Refinado", pero el "Detective del Conteo de Palabras" piensa que es "IA".

En lugar de simplemente promediar sus votos (lo que sería como una democracia donde la opinión de la minoría es ignorada), el equipo utiliza una estrategia de Fusión Consciente del Conflicto. Tienen un conjunto de reglas para resolver las discusiones:

Si dos detectives están de acuerdo, se quedan con esa respuesta.
Si no están de acuerdo, revisan las pistas específicas. Por ejemplo, si el "Detective de la Edición" no está seguro entre "Humano" y "Refinado", el equipo consulta al "Detective de Cero Disparos" para ver si hay señales fuertes de IA.
Finalmente, el "Detective del Libro de Reglas" tiene la última palabra. Si el texto contiene código de computadora obvio, el sistema anula todo lo demás y lo llama IA.

Los Resultados: Ganando la Competencia

Cuando el equipo probó su sistema con los datos oficiales de la competencia, que incluían ejemplos complicados y no vistos diseñados para romper los detectores, EVIL-Detect funcionó increíblemente bien.

En el primer conjunto de pruebas (testp1), obtuvo un macro-F1 de 0.8913.
En el segundo conjunto de pruebas, más difícil (testp2), obtuvo 0.8888.

El sistema fue particularmente bueno detectando texto puramente de IA (puntuando 0.9219 en esa categoría) y realizó un trabajo sólido con el complicado texto "Refinado" (puntuando 0.8407). Los investigadores descubrieron que el "Detective de la Edición" era el miembro más fuerte del equipo individualmente, pero el sistema solo alcanzó el primer lugar porque los otros detectives ayudaron a corregir los errores que el principal cometía.

Lo que Aprendieron (y lo que Rechazaron)

El artículo también probó otras ideas para ver si funcionaban, y descubrieron que algunos métodos populares en realidad fallaron en este desafío de tres vías.

El Entrenamiento Directo Falló: Intentaron entrenar un solo modelo de IA para simplemente "adivinar" las tres categorías directamente. Fue un desastre, puntuando solo 0.1690. Esto demostró que no puedes simplemente lanzar datos a un modelo y esperar que entienda el matiz entre "Humano", "IA" y "Refinado" sin ayuda.
Los Detectores Antiguos Tuvieron Dificultades: También probaron un método llamado "Binoculars", que es bueno para la detección binaria simple, pero solo obtuvo 0.3928 aquí. No pudo manejar la complejidad de las tres clases.

Los investigadores sugieren que el secreto del éxito no fue un único "supermodelo", sino un ensamble de múltiples señales. Al combinar la "fuerza de edición" (cuánto fue cambiado), la "probabilidad" (¿suena como un robot?) y los "patrones de palabras", crearon un sistema lo suficientemente robusto como para manejar la realidad desordenada de cómo la gente usa la IA hoy en día.

En resumen, EVIL-Detect muestra que para capturar la verdad en un mundo de IA y humanos, necesitas un equipo de especialistas que puedan discutir, comprometerse y verificarse mutuamente, en lugar de confiar en un solo intento de adivinación.

Resumen Técnico: EVIL-Detect para la Tarea Compartida NLPCC 2026

Definición del Problema
El artículo aborda el desafío de detectar texto generado o refinado por Modelos de Lenguaje Grande (LLM) dentro de escenarios realistas en chino. Mientras que la literatura existente se centra predominantemente en la clasificación binaria (distinguir entre Texto Escrito por Humanos [HWT] y Texto Generado por LLM [LGT]), la Tarea Compartida NLPCC 2026 introduce un problema de clasificación de tres clases más complejo:

HWT: Texto puramente escrito por humanos.
LGT: Texto totalmente generado por un LLM.
HLT: Texto refinado por LLM (texto escrito por humanos pulido o reescrito por un LLM).

Los autores señalan que este entorno refleja la escritura asistida por IA en el mundo real, pero presenta desafíos significativos debido a fuertes desplazamientos fuera de la distribución (OOD) entre los datos de entrenamiento (derivados de CUDRT) y los datos de evaluación (derivados de DetectRL-X), los cuales involucran dominios, generadores y esquemas de generación no vistos. La adaptación directa de clasificadores binarios o el ajuste fino supervisado (SFT) estándar a este escenario de tres clases resultó ser insuficientemente robusta, con algunos enfoques de línea base de SFT logrando puntuaciones macro-F1 tan bajas como 0.1690.

Metodología: EVIL-Detect
Los autores proponen EVIL-Detect (Aprendizaje Integrado de Visión de Conciencia de Edición), un marco de ensamblaje de múltiples señales diseñado para manejar el continuo entre HWT, HLT y LGT. La arquitectura del sistema integra cuatro fuentes de evidencia distintas a través de una estrategia de fusión consciente del conflicto:

Módulo de Entrenamiento Supervisado (Regresión de la Extensión de la Edición):
- Inspirado en EditLens, este módulo trata la detección como un problema de regresión continua en lugar de una clasificación discreta.
- Define un eje de objetivo de extensión de edición donde HWT es 0, LGT es 1, y HLT es un valor $d(h, t)$ que representa la distancia entre la fuente humana y el texto refinado.
- Se implementan dos variantes:
  - EditLens: Utiliza distancias de n-gramas de caracteres suaves superficiales. La configuración óptima (rank044) utiliza órdenes de n-gramas de 1 a 7 con pesos que aumentan linealmente.
  - Soft-EditLens: Utiliza coincidencia suave de frases a nivel semántico mediante embeddings para capturar expresiones preservadas a pesar del reemplazo léxico. Produce tanto una puntuación de regresión continua como un índice de cubo ordinal.
- Ambas variantes utilizan modelos Qwen con Adaptación de Bajo Rango (LoRA).
Módulo de Detección Zero-Shot:
- Utiliza EchoPrompt, un método libre de entrenamiento que computa puntuaciones de contraste de verosimilitud entre modelos ajustados por instrucciones y modelos base.
- En lugar de predicciones independientes, múltiples ramas de prompts/modelos (usando Qwen3.5 y Qwen2.5) generan "votos de apoyo a LGT" binarios para servir como evidencia auxiliar.
Módulo de Estadísticas de Frecuencia Léxica:
- Construye léxicos de frecuencia por etiqueta a partir del conjunto de entrenamiento para identificar n-gramas discriminativos.
- Computa probabilidades condicionales de etiqueta suavizadas y puntuaciones de log-odds agregadas (por ejemplo, LGT-vs-HWT, AI-vs-HWT) para proporcionar evidencia superficial ligera.
Módulo de Fusión y Decisión:
- Integración Consciente del Conflicto: El sistema no utiliza un promedio uniforme. En su lugar, utiliza fronteras de decisión calibradas para convertir las puntuaciones de EditLens en etiquetas base. Si dos fronteras calibradas no coinciden, se activa un resolvedor $R(\cdot)$ .
- El resolvedor utiliza las puntuaciones de regresión/cubo de Soft-EditLens y los votos de apoyo a LGT agregados para resolver conflictos entre pares de clases específicos (por ejemplo, HWT/HLT, HLT/LGT).
- Reglas de Texto de Alta Precisión: Como salvaguarda final, reglas conservadoras corrigen artefactos específicos, como marcas de estructura HTML/XML o residuos de scripts (indicativos de LGT) y trazas explícitas de reescritura (indicativas de HLT).

Contribuciones Clave

Análisis del Entorno de Tres Clases en Chino: El artículo analiza el rendimiento de métodos de detección representativos en el contexto específico de HWT, LGT y HLT, demostrando que la adaptación directa de métodos binarios falla bajo desplazamientos OOD.
Marco EVIL-Detect: La propuesta de un marco de ensamblaje consciente del conflicto que integra regresión de extensión de edición, evidencia de verosimilitud zero-shot, estadísticas léxicas y correcciones basadas en reglas.
Rendimiento de Vanguardia (SOTA): El sistema logró una puntuación macro-F1 de 0.8888 en el conjunto de prueba oficial (testp2), ocupando el primer lugar en la Tarea Compartida NLPCC 2026.

Resultados Experimentales

Rendimiento: El sistema logró un macro-F1 de 0.8913 en testp1 y 0.8888 en testp2.
Rendimiento por Clase: La detección de LGT fue la más fuerte (F1 $\approx$ 0.92), mientras que HLT siguió siendo la clase más desafiante (F1 $\approx$ 0.84), consistente con su naturaleza intermedia.
Estudios de Ablación:
- El componente EditLens por sí solo alcanzó un macro-F1 de 0.8411.
- La adición de la integración consciente del conflicto y las reglas de texto mejoró la puntuación a 0.8816.
- El sistema de fusión completo (0.8888) redujo significativamente los errores de confusión, específicamente reduciendo los errores LGT $\to$ HLT de 59 a 30 y los errores HLT $\to$ LGT de 58 a 28 en comparación con la línea base de solo EditLens.
- Diseños alternativos, como clasificadores SFT generativos directos (por ejemplo, GLM-4-9B, Qwen3.5-9B), tuvieron un desempeño pobre (macro-F1 < 0.19), validando la elección de diseño de los autores de utilizar el modelado de la extensión de edición como la señal base en lugar de depender únicamente de la clasificación generativa.

Significado
El artículo sostiene que la detección robusta de tres clases en entornos realistas y OOD no puede depender de una sola señal. En su lugar, la integración del modelado de la fuerza de edición, la evidencia basada en verosimilitud, las pistas léxicas y las correcciones de alta precisión proporciona la información complementaria necesaria para distinguir entre texto humano, generado por máquina y refinado por máquina. El trabajo destaca la necesidad de estrategias de resolución de conflictos al fusionar señales heterogéneas para tareas de detección de texto de grano fino.