Algorithmic Penalty for Non-Native Voices: A Three-Arm Diagnostic Accuracy Audit of Five Commercial AI Text Detectors Against Pre-LLM Scientific Literature — Protocol for the AUDIT-AI Study

Resumen Técnico: El Protocolo del Estudio AUDIT-AI

Planteamiento del Problema
Los detectores de texto de IA comerciales se están implementando cada vez más en revistas académicas y procesos de revisión de subvenciones para filtrar la escritura científica en busca de autoría por IA. Sin embargo, la evidencia empírica sugiere que estas herramientas sufren un sesgo algorítmico significativo contra los hablantes no nativos de inglés. Un estudio fundacional de 2023 (Liang et al.) demostró que los detectores clasificaron erróneamente más del 60% de los ensayos de hablantes no nativos de inglés como generados por IA, en comparación con una precisión casi perfecta en ensayos escritos por nativos estadounidenses. La hipótesis prevalente es que los métodos de detección basados en la perplejidad interpretan la expresión lingüística restringida, la diversidad léxica reducida y las estructuras formulaicas comunes en la escritura de no nativos como "similares a una máquina" (baja perplejidad/baja ráfaga o burstiness).

A pesar de esta evidencia, persiste una brecha crítica: ningún estudio revisado por pares ha probado si el origen geográfico de la institución de un autor de correspondencia —un proxy práctico utilizado por los editores— predice la clasificación errónea de los detectores en la literatura médica de largo formato y revisada por pares. Los estudios de validación existentes dependen de ensayos estudiantiles, resúmenes cortos o corpus de géneros mixtos, los cuales no reflejan el contexto de la selección editorial en la publicación científica de alto nivel.

Metodología
El estudio AUDIT-AI es una auditoría de precisión diagnóstica de tres brazos, pre-registrada, diseñada para cuantificar este sesgo en la investigación cardiometabólica. El estudio se adhiere a las directrices STARD-AI 2025 y se clasifica como Investigación sin Sujetos Humanos (NHSR).

• Construcción del Corpus (n = 200 textos):

  • Brazo A (Nativo): 50 artículos altamente citados sobre cardiometabolismo (Diabetes, Obesidad, NAFLD, Enfermedades Cardiovasculares) de 1995–2020, con primer autor y autor de correspondencia afiliados a instituciones en EE. UU., Reino Unido, Canadá, Australia, Nueva Zelanda o Irlanda.
  • Brazo B (No Nativo): 50 artículos de los mismos dominios y épocas, con autores afiliados a instituciones en el Medio Oriente/Norte de África, Asia Oriental, Asia del Sur, América Latina o Europa no angloparlante.
  • Brazo C (Control de IA): 1 Reescrituras generadas por IA (secciones de Introducción y Discusión) de los artículos de los Brazos A y B.
    • Pipeline: Un proceso de tres etapas "desacoplado y aislado" (air-gapped) garantiza el rigor metodológico. La Etapa 1 utiliza LlamaParse (modelo de lenguaje-visión) para extraer datos estructurados de los PDF. La Etapa 2 utiliza Claude Sonnet 4.6 para generar secciones narrativas basadas estrictamente en los datos extraídos, imponiendo anulaciones estilométricas (por ejemplo, longitud de oración variada) para maximizar la perplejidad y evitar transiciones tipo "IA" estandarizadas. La Etapa 3 involucra puertas de control de calidad para el recuento de palabras y la fidelidad del contenido.

• Ensamble de Detección:

  • Se evalúan cinco detectores comerciales: iThenticate (Turnitin), Originality.AI, GPTZero, Copyleaks y Winston AI.
  • Cada una de las 400 secciones narrativas (200 artículos × 2 secciones) es calificada dos veces por cada detector dentro de un intervalo de 14 días, lo que genera un total de 4,000 observaciones.

• Análisis Estadístico:

  • Resultado Primario: Puntuación de probabilidad de IA continua (0–100%).
  • Modelo Primario: Regresión de efectos mixtos lineales analizando la diferencia entre el Brazo B y el Brazo A, controlando por tipo de sección (Introducción vs. Discusión), época de publicación, factor de impacto de la revista y recuento de palabras.
  • Potencia: El diseño (n=50 por brazo) proporciona aproximadamente un 80% de potencia para detectar un tamaño de efecto medio (Cohen's d = 0.5) para la hipótesis direccional primaria.

Contribuciones Clave y Novedad
El estudio afirma avanzar en el campo de cinco maneras específicas:

1. Texto Pre-LLM de Largo Formato: A diferencia de otros trabajos sobre ensayos cortos o resúmenes, este estudio prueba los detectores en la prosa narrativa de 600–1,500 palabras (Introducción/Discusión) que realmente se utiliza en la selección editorial.
2. Proxy Institución-Geográfico: Utiliza la señal práctica del editor (afiliación institucional) en lugar del estatus L1 autoinformado o los puntajes TOEFL.
3. Bloque de Especialidad: Al restringir el corpus a la literatura cardiometabólica, controla el registro de vocabulario y la distribución de temas, aislando la disparidad de L1 de los efectos de género.
4. Aislamiento Metodológico (Air-Gap): El brazo de IA utiliza un proveedor diferente (LlamaParse) para la extracción que el generador (Claude), evitando críticas de contaminación de los datos de entrenamiento.
5. Rigor de Pre-registro: Todas las hipótesis, tamaños de muestra y modelos estadísticos se bloquean antes de la recolección de datos para evitar la selección arbitraria de umbrales (cherry-picking).

Resultados Anticipados e Hipótesis
El estudio no presenta resultados finales, sino que describe cinco hipótesis pre-registradas:

• H1 (Primaria): Las puntuaciones medias de probabilidad de IA serán significativamente más altas para los artículos de instituciones no nativas (Brazo B) que para los artículos nativos (Brazo A), con una diferencia absoluta esperada de 12–22 puntos porcentuales.
• H2: Ningún detector logrará alcanzar simultáneamente una sensibilidad y especificidad ≥0.85 en ambos brazos humanos.
• H3: El acuerdo entre detectores (Fleiss' κ) en el umbral del 50% será pobre (<0.40).
• H4: La disparidad de L1 será mayor en las secciones de Discusión que en las de Introducción, reflejando la mayor expresividad estilística de estas últimas.
• H5: El origen geográfico seguirá siendo un predictor significativo de las puntuaciones de IA incluso después de ajustar por el factor de impacto de la revista, la época y las métricas de legibilidad.

Significancia y Reivindicaciones
El estudio AUDIT-AI se posiciona como un mecanismo de rendición de cuentas crítico para las herramientas que gobiernan la integridad científica.

• Si se apoya H1: El estudio proporcionará evidencia directa de que la dependencia de los detectores comerciales impone un "costo de equidad" medible sobre los autores biomédicos de instituciones no nativas, lo que podría conducir a una señalización injusta en las presentaciones de manuscritos y revisiones de subvenciones.
• Si no se apoya H1: Ofrecerá el primer hallazgo negativo en una prueba estructurada en el dominio médico sobre la disparidad de L1, desafiando la generalizabilidad de los resultados de los ensayos TOEFL de Liang et al. (2023) a la publicación científica profesional.

En última instancia, el estudio pretende informar las decisiones de política con respecto al despliegue de detectores en los flujos de trabajo de las revistas, la revisión de subvenciones (específicamente haciendo referencia a las directrices de los NIH) y las adjudicaciones de integridad académica. Los autores se comprometen a publicar todo el código, esquemas y salidas desidentificadas bajo una licencia CC-BY 4.0 para asegurar la reproducibilidad.