AI evaluation may bias perceptions: The importance of context in interpreting academic writing

Resumen Técnico: La Evaluación de IA Puede Sesgar las Percepciones

Declaración del Problema
El artículo aborda una falla crítica en las metodologías actuales para estimar el uso de Modelos de Lenguaje Grande (LLM) en la escritura científica. Los enfoques existentes a menudo dependen de una "puntuación de referencia agrupada" (pooled benchmark)—un estándar único y global para la "similitud con IA" entrenado con datos agregados de todos los países y disciplinas. Los autores argumentan que este enfoque ignora la heterogeneidad estilística preexistente sustancial entre diferentes grupos de país-campo. Dado que las convenciones de escritura científica, las normas lingüísticas y los estilos retóricos varían significativamente según la geografía y la disciplina, una referencia unificada corre el riesgo de confundir la variación estilística natural con el texto generado por IA. Esta confusión puede llevar a una mala clasificación sistemática, donde ciertos grupos parecen usar la IA con mayor frecuencia simplemente porque su estilo de escritura base se alinea más estrechamente con el perfil "similar a IA" agrupado, incluso en ausencia de un uso real de LLM.

Metodología
El estudio utiliza datos de publicaciones a gran escala de la base de datos Dimensions, que abarcan publicaciones en revistas en idioma inglés desde 2020 hasta 2025. Los autores definen 18 grupos de países y 13 campos de estudio, creando 234 grupos distintos de país-campo.

1. Construcción de Datos:

   • Corpus de Entrenamiento (2020): Los autores muestrean hasta 2.000 publicaciones por grupo de país-campo de 2020 (era pre-LLM). Utilizan ChatGPT-4o-mini para reformular los resúmenes de estas publicaciones mediante un procedimiento de dos pasos "esquema-y-expansión". Esto crea pares de resúmenes originales escritos por humanos y reformulados por IA.
   • Corpus de Inferencia: Las publicaciones de 2021 (utilizadas como placebo pre-LLM) y de 2025 (era post-LLM) se utilizan para probar las referencias.

2. Construcción de la Referencia (Benchmark):

   • Referencia Agrupada (Pooled Benchmark): Se calcula un único conjunto de razones de log-odds a nivel de palabra agrupando todos los datos de entrenamiento de 2020 de los 234 grupos. Esto establece una línea base global para las probabilidades de uso de palabras en texto humano frente a texto de IA.
   • Referencias Específicas por País-Campo: Se construyen 234 referencias separadas, donde cada referencia se entrena solo con los datos dentro de su grupo específico de país-campo.
   • Métrica: Para cada palabra $t$, la razón de log-odds se calcula como $\log \frac{P_t/(1-P_t)}{Q_t/(1-Q_t)}$, donde $P_t$ y $Q_t$ son las probabilidades de que la palabra aparezca en resúmenes escritos por humanos y reformulados por IA, respectivamente. Los valores negativos indican palabras más propensas a aparecer en texto de IA.

3. Estimación:

   • Los autores emplean un Estimador de Máxima Verosimilitud (MLE) para estimar el peso de la mezcla ($\alpha$), que representa la fracción de texto modificada por IA.
   • Las ocurrencias de palabras a nivel de oración se modelan como eventos Bernoulli. La verosimilitud de una oración se modela como una mezcla de distribuciones humanas y de IA: $L_i(\alpha) = (1-\alpha)L_H(S_i) + \alpha L_A(S_i)$.
   • El estimador se aplica dos veces a los datos de 2025: una vez utilizando la referencia agrupada ($\alpha^{pool}_g$) y otra vez utilizando la referencia específica del grupo ($\alpha^g_g$).

Hallazgos Clave

1. Heterogeneidad Estilística Preexistente:
   El análisis de los datos de 2020 (pre-LLM) revela una variación significativa en el uso de palabras "similares a IA" entre los grupos. La descomposición ANOVA muestra que aproximadamente el 80% de la varianza en las razones de log-odds surge de diferencias entre países dentro del mismo campo, en lugar de diferencias entre campos. Las simulaciones de permutación confirman que esta heterogeneidad es genuina y no ruido estadístico.

2. Sesgo en el Placebo Pre-LLM (2021):
   Cuando la referencia agrupada se aplica a las publicaciones de 2021 (donde el uso real de IA debería ser cercano a cero), produce una distribución altamente sesgada de la estimación de uso de IA ($\alpha$).

   • Sobreestimación: Los países dominantes en inglés (por ejemplo, EE. UU., Reino Unido) y campos como Economía, Gestión y Humanidades muestran estimaciones base artificialmente altas (hasta 0,17).
   • Subestimación: Países como Rusia y campos como Ciencias Matemáticas y Físicas muestran bases cercanas a cero.
   • En contraste, las referencias específicas por país-campo producen una distribución centrada cerca de 0,04–0,05 con una dispersión significativamente reducida (la Desviación Estándar disminuye de 0,052 a 0,016), proporcionando una base más creíble.

3. Sesgo Sistemático en las Estimaciones de 2025:
   La comparación de las estimaciones de 2025 revela que la referencia agrupada distorsiona sistemáticamente la distribución geográfica y disciplinaria percibida del uso de IA:

   • Sobreestimación: El uso de IA se sobreestima en países dominantes en inglés y campos con estilos de escritura similares al perfil de IA agrupado (por ejemplo, Economía, Psicología, Ciencias de la Computación).
   • Subestimación: El uso de IA se subestima en países no dominantes en inglés (por ejemplo, Rusia, Brasil, Japón) y campos con bases estilísticas distintas (por ejemplo, Ciencias Matemáticas, Ciencias Biomédicas).

Significado y Afirmaciones
El artículo argumenta que la evaluación precisa del uso de IA en la ciencia requiere una medición consciente del contexto en lugar de estándares únicos para todos. Los autores afirman que las referencias agrupadas no solo introducen ruido, sino que inducen un sesgo estructurado que reconfigura el paisaje percibido de la adopción de IA.

• Equidad y Confianza: Los hallazgos sugieren que los métodos actuales de detección pueden reforzar las desigualdades existentes. Los investigadores en países de altos ingresos dominantes en inglés podrían ser señalados injustamente por una escritura "similar a IA" (lo que podría interpretarse como fluidez), mientras que los investigadores en otras regiones o disciplinas podrían ser menos detectados o enfrentar penalizaciones de credibilidad diferentes.
• Implicaciones Políticas: Los autores advierten contra la adopción de umbrales uniformes de detección de IA en políticas de integridad académica, filtrado de revistas y cumplimiento de financiación. Abogan por referencias calibradas al contexto para evitar la distorsión del discurso científico y la erosión de la confianza en regiones o disciplinas específicas.
• Contribución Metodológica: El estudio demuestra que ignorar las líneas base contextuales conduce a interpretaciones frágiles de las tendencias de adopción de IA. Al incorporar líneas base específicas por país-campo, la credibilidad de las comparaciones entre grupos mejora significativamente.

El artículo concluye que, aunque ninguna referencia es perfectamente libre de sesgo, avanzar hacia una medición consciente del contexto es un paso necesario para garantizar una evaluación justa y precisa de la IA en la escritura científica.