💬 NLP

Team DACTYL at PAN 2026: Bayesian Data Mixing and Empirical X-risk Minimization for AI-text Detection

El equipo DACTYL aborda la brecha de rendimiento fuera de la distribución en la detección de texto por IA empleando la mezcla de datos bayesiana para la curación de conjuntos de datos y la minimización empírica del riesgo X, logrando un primer puesto en la tabla de clasificación con un modelo ModernBERT-large calibrado mediante MCGrad que alcanzó una puntuación media de 0.974 en el conjunto de prueba de PAN 2026.

Autores originales: Shantanu Thorat

Publicado 2026-07-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Shantanu Thorat

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective tratando de detectar una pintura falsa. Has pasado años estudiando una galería específica de falsificaciones, por lo que puedes notar instantáneamente cuando una pieza nueva pertenece a esa misma galería. Pero, ¿qué pasa cuando el falsificador cambia de estudio, usa pinceles diferentes o pinta en un estilo completamente distinto? De repente, tu ojo experto podría fallar, no porque no seas inteligente, sino porque aprendiste a detectar los claves equivocados —como un tipo de marco específico o una mancha extraña que solo ocurría en la primera galería—. Este es el corazón del problema en la "detección de texto por IA". Los científicos están construyendo programas informáticos para leer texto y decidir si un humano lo escribió o si lo hizo un robot (un Modelo de Lenguaje Grande). El problema es que estos programas a menudo se vuelven demasiado buenos detectando las "huellas dactilares robóticas" de sus datos de entrenamiento, solo para confundirse cuando los robots empiezan a escribir de nuevas maneras. Si no podemos distinguir la diferencia, podríamos confiar accidentalmente en noticias falsas o perder la creatividad humana real. La gran pregunta es: ¿cómo entrenamos a nuestros detectives digitales para que sean verdaderamente inteligentes, no solo buenos memorizando el pasado?

Entra el Equipo DACTYL, un grupo de investigadores que decidió abordar este problema para la competencia PAN 2026, un concurso de alto nivel para detectores de IA. En lugar de simplemente lanzar más datos al problema, intentaron una estrategia ingeniosa de varios pasos que se siente un poco como entrenar a un equipo de exploradores antes de enviar la artillería pesada.

Primero, se dieron cuenta de que simplemente mezclar diferentes conjuntos de datos no siempre ayudaba; a veces, solo confundía a los modelos con el "aprendizaje de atajos" (shortcut learning), donde la IA encuentra un truco fácil para engañar a la prueba en lugar de aprender la verdadera lección. Para solucionar esto, construyeron un nuevo y masivo conjunto de datos llamado DACTYLv2. Piensa en esto como una gigantesca biblioteca de historias escritas por humanos y por varios modelos de IA, que abarca desde guiones de películas hasta artículos económicos. Pero no se limitaron a volcar todos estos libros en la pila de entrenamiento. Sabían que algunos libros eran "malos actores": textos que parecían de IA pero que en realidad eran humanos, o viceversa, o simplemente valores atípicos extraños que arruinarían el entrenamiento.

Para filtrar a los malos actores, crearon un equipo especial de "exploradores" utilizando modelos de IA diminutos y ligeros llamados Bayesian BERT-tiny. Estos exploradores son especiales porque no solo dan una respuesta de "sí" o "no"; también te dicen qué tan seguros están. Imagina a un explorador diciendo: "Creo que esto es un robot, pero no estoy 100% seguro", frente a "Estoy absolutamente seguro de que esto es un robot". El equipo utilizó estos niveles de confianza para tomar decisiones inteligentes. Si un texto confundía a los exploradores (alta incertidumbre) o si los exploradores estaban erróneamente seguros (baja incertidumbre pero respuesta incorrecta), descartaban ese texto. Solo conservaron los textos "dorados" en los que los exploradores podían estar de acuerdo, creando un conjunto de entrenamiento súper limpio y de alta calidad.

Una vez que tuvieron esta biblioteca prístina, entrenaron a dos poderosos detectives de "peso pesado": un ModernBERT-large y un DeBERTa-V3-large. Estos son mucho más grandes e inteligentes que los exploradores. Pero aquí está el giro: el equipo no dejó que estos grandes modelos simplemente adivinaran. Utilizaron una técnica llamada Minimización de Riesgo Empírico (EXM). En lugar de solo intentar obtener la respuesta correcta la mayor cantidad de veces posible, la EXM enseña al modelo a ser realmente bueno separando los casos "difíciles": los textos complicados que se ven muy similares tanto a humanos como a robots. Es como entrenar a un detective no solo para detectar falsificaciones obvias, sino para detectar aquellas que son casi perfectas.

Para su truco final, añadieron un "entrenador de calibración" llamado MCGrad. Incluso los detectives inteligentes pueden ser excesivamente confiados. A veces, un modelo puede decir: "Estoy 99% seguro de que esto es un robot", cuando en realidad solo está un 60% seguro. El entrenador MCGrad observa las señales de incertidumbre de los diminutos exploradores y ajusta las puntuaciones de confianza del gran modelo para que sean más honestas. Es como un entrenador diciéndole a un atleta confiado: "Eres bueno, pero no apuestes todo tu sueldo en esto".

¿Los resultados? La estrategia del equipo funcionó de maravilla. Su modelo ModernBERT-large, tras ser entrenado por MCGrad, logró una impresionante puntuación promedio de 0.974 en la prueba final. Esto fue suficiente para colocarlos en el segundo lugar de la tabla de clasificación, superando a muchos otros equipos e incluso al ganador del año anterior en varias categorías. Curiosamente, su otro gran modelo, DeBERTa-V3-large, fue ligeramente menos preciso en general (puntuando 0.882), pero fue increíblemente bueno detectando específicamente los textos de "robot", demostrando que diferentes estrategias tienen diferentes fortalezas.

El artículo sugiere que la clave para vencer a los detectores de IA no es solo usar computadoras más grandes o más datos, sino ser muy cuidadoso con qué datos utilizas. Al usar modelos diminutos e inciertos para filtrar el ruido y luego entrenar a grandes modelos para que se concentren en los casos más difíciles, el Equipo DACTYL demostró que una curación cuidadosa puede conducir a detectores que son mucho más difíciles de engañar. Aunque su método no funcionó perfectamente en cada una de las pruebas (algunos nuevos tipos de texto de IA todavía los hicieron tropezar), demuestra que un enfoque inteligente y por capas es una forma poderosa de mantener nuestro mundo digital honesto.

Resumen Técnico: Mezcla de Datos Bayesiana y Minimización del Riesgo Empírico X para la Detección de Texto por IA

Planteamiento del Problema
Los clasificadores actuales de detección de texto generado por IA (AIG) suelen exhibir un fuerte rendimiento en la distribución interna (ID), pero fallan al generalizar a textos fuera de la distribución (OOD). Los autores plantean la hipótesis de que este fallo se debe al sobreajuste a correlaciones espurias específicas del conjunto de datos y a características superficiales, lo que permite incluso a modelos pequeños (por ejemplo, BERT-tiny) lograr puntuaciones engañosamente altas en benchmarks específicos. Además, el entrenamiento estándar mediante la Minimización del Riesgo Empírico (ERM) tiende a fomentar el "aprendizaje de atajos" (shortcut learning), mientras que la combinación ingenua de conjuntos de datos puede reforzar la dependencia de estas correlaciones espurias. Adicionalmente, los clasificadores existentes suelen carecer de puntuaciones de confianza calibradas, y las técnicas de minería dura (hard mining) no logran distinguir entre muestras genuinamente difíciles y datos ruidosos o corruptos.

Metodología
El enfoque del equipo DACTYL aborda estos problemas mediante un flujo de trabajo que involucra filtrado de datos bayesiano, minimización del riesgo empírico X (EXM) y multicalibración post-hoc.

Construcción del Conjunto de Datos (DACTYLv2):
El equipo construyó un conjunto de datos expandido, DACTYLv2, generando textos AIG mediante prompting de un solo paso (one-shot prompting) a través de seis dominios (blogs, artículos web, Medium, guiones de películas, resúmenes de NBER, reseñas de Yelp) utilizando varios LLM (incluyendo Claude, GPT, GLM, MiniMax, Mercury y Kimi). Esto se combinó con conjuntos de datos externos (LLMTrace, Personagen, Stack Exchange, MAGA-Bench, DetectRL) para crear un grupo de entrenamiento diverso y prevenir el sobreajuste a artefactos específicos de DACTYL.
Filtrado de Datos Bayesiano:
Para curar un conjunto de entrenamiento consolidado de alta calidad, los autores entrenaron cinco clasificadores débiles Bayesian BERT-tiny (BERT-tiny con una cabeza lineal bayesiana) sobre muestras de diferentes fuentes de datos.

Mecanismo: Estos modelos emiten una media ( $\mu$ ) y una desviación estándar ( $\sigma$ ) para cada entrada, representando la confianza y la incertidumbre de la predicción.
Lógica de Filtrado: Los textos fueron evaluados frente a cuatro cuadrantes: correcto/incierto, correcto/cierto, incorrecto/incierto y incorrecto/cierto.
Criterio de Selección: Las muestras se "mantuvieron" si fueron clasificadas correctamente o si fueron clasificadas incorrectamente pero con incertidumbre (lo que indica un caso difícil de aprender). Las muestras fueron "rechazadas" si el clasificador fue incorrecto y cierto, ya que estas probablemente representan valores atípicos (outliers), datos mal etiquetados o correlaciones espurias. Se utilizó un mecanismo de votación por ensamble (que requería al menos tres votos de "mantener" y no más de un voto de "rechazar") para finalizar el conjunto de entrenamiento.

Entrenamiento del Modelo con Minimización del Riesgo Empírico X (EXM):
En lugar del ERM estándar (entropía cruzada), el equipo ajustó finamente (fine-tuned) modelos DeBERTa-V3-large y ModernBERT-large sobre el conjunto de datos filtrado utilizando optimización de dos vías de AUROC parcial (a través de la librería LibAUC). Este enfoque está diseñado para mejorar la capacidad de generalización, particularmente para modelos más grandes.
Multicalibración (MCGrad):
Para el modelo ModernBERT-large, se aplicó un paso de calibración post-hoc utilizando MCGrad. Este modelo toma la puntuación transformada de ModernBERT-large y las estimaciones de incertidumbre ( $\sigma$ ) de los tres clasificadores Bayesian BERT-tiny (entrenados en DACTYL, LLMTrace y MAGA-Bench) como entradas. Este paso tiene como objetivo alinear las probabilidades predichas con las etiquetas reales, optimizando métricas como el índice de Brier (Brier score).

Contribuciones Clave

DACTYLv2: Un nuevo conjunto de datos expandido para la detección de AIG que incorpora diversos dominios y estilos de prompting.
Marco de Filtrado Bayesiano: Un método novedoso que utiliza redes neuronales bayesianas para identificar y eliminar muestras "incorrectas y ciertas" (potenciales valores atípic o correlaciones espurias) de los datos de entrenamiento, mezclando eficazmente múltiples conjuntos de datos.
Implementación de EXM: La aplicación de la minimización del riesgo empírico X (AUROC parcial) para el ajuste fino de modelos de lenguaje grandes en el contexto de la detección de AIG.
Calibración Impulsada por la Incertidumbre: Un sistema que aprovecha las estimaciones de incertidumbre de modelos bayesianos débiles para calibrar las predicciones de un clasificador fuerte no bayesiano.

Resultados
El equipo entrenó y evaluó tres clasificadores: DeBERTa-V3-large, ModernBERT-large y el ModernBERT-large calibrado con MCGrad.

Rendimiento: El modelo MCGrad alcanzó la puntuación media más alta de 0.974 en el conjunto de prueba PAN 2026 a través de cinco métricas (AUROC, $F_1$ , C@1, Brier score y $F_{0.5u}$ ), ocupando el segundo lugar en la tabla de clasificación (leaderboard).
Comparación: El ModernBERT-large no calibrado alcanzó una media de 0.96, mientras que DeBERTa-V3-large alcanzó 0.882.
Generalización: Ambos modelos grandes demostraron un sólido rendimiento OOD, con puntuaciones de AUROC superiores a 0.93 en varios conjuntos de prueba externos (por ejemplo, DetectRL, Dolly-Cosmopedia) a pesar de no haber sido entrenados con ellos.
Impacto de la Calibración: El sistema MCGrad mejoró las puntuaciones en los conjuntos de prueba PAN 2025 y 2026 (incluyendo el Brier score, donde ocupó el primer lugar entre los competidores), pero mostró resultados mixtos en el conjunto de prueba ELOQUENT, lo que sugiere sensibilidad a cambios de distribución específicos.

Significancia y Reivindicaciones
El artículo sostiene que la curación cuidadosa del conjunto de datos mediante el filtrado de incertidumbre bayesiana es un factor crítico para lograr un sólido rendimiento OOD, en lugar de simplemente agregar grandes volúmenes de datos. Los autores destacan que una alta capacidad de discriminación (alto AUROC) no garantiza puntuaciones calibradas, enfatizando la necesidad de evaluar a través de múltiples métricas. El trabajo demuestra que combinar la selección de datos bayesianos con EXM y la multicalibración puede producir detectores robustos que superan a los sistemas previos de vanguardia (específicamente superando al sistema ganador de PAN 2025 en puntuación general). Los autores señalan que sus hiperparámetros bayesianos fueron ajustados manualmente y sugieren que la optimización futura mediante métricas de incertidumbre proxy podría mejorar aún más los resultados.

Más como este