Feature-Augmented Transformers for Robust AI-Text Detection Across Domains and Generators

Resumen Técnico: Transformadores Aumentados con Características para la Detección Robusta de Texto Generado por IA a Través de Dominios y Generadores

1. Declaración del Problema

La proliferación de Modelos de Lenguaje a Gran Escala (LLM) ha creado una necesidad crítica de detección fiable de texto generado por IA en contextos como la integridad académica, la moderación de contenidos y la curación de conjuntos de datos. Sin embargo, el despliegue en el mundo real enfrenta un desafío significativo: el cambio de distribución. Los detectores entrenados en conjuntos de datos específicos a menudo fallan cuando se aplican a diferentes dominios, estilos de escritura o familias de generadores.

Las prácticas de evaluación existentes suelen depender del rendimiento dentro del dominio o de métricas agregadas que pueden ocultar comportamientos frágiles. Además, muchos estudios recalibran los umbrales de decisión para cada dominio objetivo, lo cual no refleja las restricciones realistas de despliegue donde las etiquetas del dominio objetivo no están disponibles. Este artículo aborda la necesidad de un marco de detección robusto que mantenga el rendimiento bajo cambio de distribución sin adaptación al dominio objetivo, centrándose específicamente en la compensación entre preservar el texto humano y detectar diversos generadores de IA.

2. Metodología

2.1. Protocolo de Evaluación: Despliegue con Umbral Fijo
El núcleo de la metodología propuesta es un protocolo de despliegue realista con umbral fijo.

• Entrenamiento: Los detectores se entrenan exclusivamente en el conjunto de datos HC3 PLUS (Su et al., 2023), que incluye respuestas escritas por humanos y generadas por ChatGPT, junto con reescrituras semánticamente invariantes (paráfrasis, resumen, traducción).
• Calibración: Se calibra un único umbral de decisión global ($\tau^*$) en datos de validación retenidos de HC3 PLUS.
• Pruebas: Este umbral se mantiene fijo para todas las evaluaciones posteriores. No se realiza ajuste fino del dominio objetivo ni recalibración del umbral. Este protocolo está diseñado para exponer modos de fallo que normalmente están ocultos por evaluaciones adaptativas.
• Métricas: La Precisión Equilibrada (BA) es la métrica principal para tener en cuenta el desequilibrio de clases y los patrones de error asimétricos (Recuperación Humana vs. Recuperación de IA).

2.2. Arquitecturas de Modelo
El estudio evalúa dos categorías de modelos:

1. Líneas Base de Transformadores Estándar: Codificadores BERT y ROBERTA ajustados finamente con una cabeza de clasificación lineal.
2. Detectores Aumentados con Características: Estos modelos fusionan representaciones de transformadores con señales lingüísticas diseñadas a mano mediante un módulo de Atención de Características (FEATATTN).
   • Extracción de Características: Se extraen 62 características diseñadas a mano (diversidad léxica, patrones de POS, legibilidad, puntuación, perplejidad, explosividad). Se selecciona un subconjunto de $k=30$ características globalmente en el conjunto de entrenamiento para evitar la fuga al dominio objetivo.
   • Mecanismo de Fusión: Una red de atención ligera controla dinámicamente las características seleccionadas por muestra, proyectándolas en una representación compacta. Esta representación se concatena con la representación [CLS] del transformador y se pasa a través de un clasificador MLP.
   • Backbones: El estudio introduce DeBERTa-v3-base como backbone, hipotetizando que su objetivo de pre-entrenamiento (Detección de Token Reemplazado) puede producir representaciones menos sensibles a pistas superficiales que varían bajo reescritura.

2.3. Conjuntos de Datos

• HC3 PLUS: Utilizado para entrenamiento y pruebas dentro del dominio (QA y reescrituras semánticamente invariantes).
• M4 Benchmark: Un benchmark de caja negra utilizado para la evaluación de transferencia entre conjuntos de datos a través de cinco dominios en inglés (Wikipedia, WikiHow, Reddit, arXiv, PeerRead) y ocho familias de generadores (incluyendo ChatGPT, LLaMA, Cohere, etc.).
• AI-TEXT-DETECTION-PILE: Un conjunto de datos externo a gran escala para evaluación fuera de distribución.
• Texto Académico (Nuevo): Un conjunto de datos a gran escala de párrafos de arXiv frente a texto académico generado por IA (GPT-3.5, Gemini) utilizado para validación externa.

3. Resultados Clave

3.1. Rendimiento Dentro del Dominio vs. Entre Conjuntos de Datos

• Dentro del Dominio: Los transformadores estándar (BERT, RoBERTa) alcanzan un rendimiento casi máximo en HC3 PLUS QA (hasta 99.54% BA). Sin embargo, el rendimiento disminuye significativamente en reescrituras semánticamente invariantes (prueba si), lo que indica una dependencia de pistas de nivel superficial.
• Entre Conjuntos de Datos (M4): Bajo el protocolo de umbral fijo, el rendimiento se degrada significativamente.
  • Fallos Complementarios: BERT tiende a preservar mejor el texto humano (mayor Recuperación Humana) pero pasa por alto algo de texto de IA, mientras que RoBERTa es más agresivo en la detección de IA (mayor Recuperación de IA) pero clasifica incorrectamente más texto humano.
  • Varianza de Dominio: El rendimiento varía enormemente entre dominios (por ejemplo, BERT alcanza un 87.4% BA en Wikipedia pero un 69.4% en arXiv).

3.2. Impacto de la Aumento de Características

• Robustez: El aumento de características mejora significativamente la robustez de la transferencia. DeBERTa-v3 + FEATATTN logra el perfil más equilibrado, alcanzando un 85.97% BA en el benchmark M4 (81.38% Recuperación Humana, 90.57% Recuperación de IA).
• Estabilidad: Los experimentos con múltiples semillas (5 semillas) confirman una alta estabilidad, con un promedio macro de 83.15 ± 1.04% en M4.
• Comparación con Zero-Shot: El modelo propuesto supera a las líneas base fuertes de zero-shot (Fast-DetectGPT, RADAR, Log-Rank) en hasta +7.22 puntos porcentuales bajo el mismo protocolo de umbral fijo.

3.3. Ablación de Características

• Las ablaciones a nivel de categoría revelan que las características de Legibilidad y Vocabulario contribuyen más a la robustez entre dominios. Eliminar estas categorías resulta en las mayores caídas en la Precisión Equilibrada.

3.4. Desplazamiento de Generador y Externo

• Sensibilidad al Generador: El mejor modelo mantiene altas tasas de detección a través de diversos generadores (por ejemplo, 94.59% en Bloomz, 99.80% en ChatGPT) pero muestra una compensación: es altamente sensible al texto de IA, lo que puede conducir a una mayor tasa de falsos positivos en texto humano en conjuntos de datos externos (por ejemplo, 55.53% Recuperación Humana en AI-TEXT-DETECTION-PILE).
• Dominio Académico: En el nuevo conjunto de datos de Texto Académico, el modelo alcanza un 81.09% BA, demostrando generalización a temas STEM.

4. Significado y Afirmaciones

El artículo argumenta que la evaluación semánticamente invariante y los protocolos de umbral fijo son esenciales para evaluar la verdadera robustez de los detectores de IA. Los autores afirman:

1. El Rendimiento Dentro del Dominio es Engañoso: Las puntuaciones cercanas al máximo en distribuciones de origen no garantizan fiabilidad bajo cambio de distribución. Las reescrituras semánticamente invariantes actúan como una "prueba de estrés" que expone la dependencia de los detectores de pistas superficiales.
2. Los Umbrales Fijos Revelan la Realidad: Calibrar un único umbral y mantenerlo fijo refleja mejor las restricciones de despliegue, revelando modos de fallo específicos de dominio y generador que los protocolos adaptativos ocultan.
3. El Aumento de Características es Efectivo pero con Compensaciones Pesadas: Aumentar los transformadores con características lingüísticas explícitas (específicamente legibilidad y vocabulario) mejora la robustez de la transferencia. Sin embargo, esto agudiza la compensación entre preservar el texto humano y detectar diversos generadores; un modelo optimizado para la detección amplia de IA puede aumentar los falsos positivos en la escritura humana.
4. Superioridad de DeBERTa-v3: El backbone DeBERTa-v3, potencialmente debido a su pre-entrenamiento de Detección de Token Reemplazado, produce un perfil de transferencia más equilibrado y robusto en comparación con BERT y RoBERTa.

El estudio concluye que la robustez práctica del detector requiere protocolos de evaluación que exijan la invarianza semántica, fijen los puntos operativos mediante validación retenida y complementen las puntuaciones agregadas con perfiles de error granulares y conscientes del generador.