Large Language Models Threaten Double-blind Review

Resumen Técnico: Los Modelos de Lenguaje de Gran Escala Amenazan la Revisión de Doble Ciego

Planteamiento del Problema
La revisión por pares de doble ciego es un mecanismo fundamental en la publicación científica diseñado para mitigar el sesgo relacionado con la reputación del autor, la afiliación institucional y la visibilidad previa. Su eficacia se basa en la suposición de que los manuscritos anonimizados (libres de nombres, afiliaciones y citas explícitas) no contienen información suficiente para revelar de manera fiable a sus autores. Si bien investigaciones previas han demostrado que la autoría puede recuperarse utilizando marcadores estilísticos, patrones léxicos o estructuras bibliográficas, este estudio investiga una vulnerabilidad más profunda: si los Modelos de Lenguaje de Gran Escala (LLM, por sus siglas en inglés) pueden desanonimizar artículos utilizando únicamente texto científico mínimo (títulos y resúmenes) mediante la inferencia de firmas conceptuales latentes. La cuestión central es si la suposición de anonimato se mantiene cuando la inferencia se limita a grupos reducidos de expertos en el dominio estrechamente relacionados y se eliminan las señales superficiales.

Metodología
Los autores llevaron a cabo un experimento controlado de atribución de autoría utilizando un corpus de más de 12,000 artículos científicos publicados entre 2024 y 2025, obtenidos de Semantic Scholar. Para asegurar que los modelos no dependieran de datos de entrenamiento memorizados, el conjunto de evaluación fue estrictamente aislado temporalmente de los cortes de entrenamiento de los modelos utilizados (Qwen2.5-72B y LLaMA3-70B, ambos con cortes en 2023).

• Restricciones de Entrada: Se proporcionaron a los modelos únicamente los títulos y resúmenes de los artículos. Se excluyeron todos los identificadores explícitos, afiliaciones y metadatos bibliográficos.
• Grupos de Candidatos: Para cada artículo, el modelo recibió un conjunto cerrado de cinco candidatos: un autor real y cuatro distractores. El estudio varió la construcción de estos distractores:
  • Aleatorios: Extraídos de dominios no relacionados.
  • Expertos en el Dominio (Semantic Scholar): Autores recomendados por trabajar en temas similares.
  • Expertos en el Dominio (OpenAlex): Autores recuperados vía OpenAlex, que representan un grupo más estrictamente alineado y conceptualmente fundamentado.
• Definiciones de Verdad Fundamental (Ground Truth): El "autor real" se definió de tres maneras para probar la robustez a través de las disciplinas: el último autor, el autor más sénior (mayor número de publicaciones) y el autor más júnior (menor número de publicaciones).
• Marco de Evaluación: En lugar de requerir una única predicción, el estudio empleó un marco de clasificación consciente de la confianza. Los modelos clasificaron a los candidatos y asignaron puntuaciones de confianza. Se construyó un "conjunto sospechoso" acumulando candidatos hasta que su probabilidad acumulada superara un umbral $\tau$ (p. ej., 0.5 o 0.9). Las métricas incluyeron la precisión Top-k, el MRR (Rango Recíproco Medio), la Recuperación del Conjunto Sospechoso y el Error de Calibración Esperado (ECE).
• Línea Base Humana: Un grupo de control de veinte investigadores de posgrado con experiencia en aprendizaje automático realizó la misma tarea para establecer una línea base humana.
• Verificaciones de Inferencia Avanzada: El estudio probó la agregación de modelos (combinando las predicciones de Qwen y LLaMA) y la deliberación de múltiples rondas (razonamiento iterativo) para ver si la complejidad mejoraba la atribución.

Resultados Clave

1. Desempeño Superior de los LLM: Los LLM superaron significativamente a los investigadores humanos en la identificación de autores basándose solo en títulos y resúmenes.

   • Precisión Top-1: Los LLM alcanzaron aproximadamente un 42% de precisión (Qwen2.5-72B), en comparación con el 11% de los investigadores humanos.
   • Calidad de Clasificación: Los LLM lograron un MRR de 0.623 frente al 0.36 de los humanos (estadísticamente significativo, $p < 0.001$).
   • Eficiencia del Conjunto Sospechoso: Con un umbral de confianza moderado ($\tau = 0.5$), los LLM retuvieron al autor real en el 61.6% de los casos, mientras que redujeron el conjunto sospechoso a un promedio de 1.95 candidatos. Los humanos retuvieron al autor real en solo un 22% de los casos con un tamaño de conjunto sospechoso similar.

2. Firmas Conceptuales Latentes: El estudio encontró que el colapso del anonimato es impulsado por "regularidades latentes" en cómo los investigadores enmarcan los problemas, el alcance de las contribuciones y la posición de su trabajo, más que por peculiaridades estilísticas.

   • Cuando los distractores fueron extraídos de dominios no relacionados, la recuperación saltó al 84.1%, lo que indica que los modelos dependen fuertemente de la alineación temática.
   • Incluso con distractores altamente confundibles (expertos de OpenAlex con perfiles de investigación superpuestos), la recuperación se mantuvo en un 51.5%, significativamente por encima de la línea base humana.

3. Variaciones por Disciplina y Senioridad:

   • Disciplina: La erosión del anonimato fue más pronunciada en Medicina (66% de recuperación en $\tau=0.5$) que en Ciencias de la Computación (58%), sugiriendo que las convenciones de investigación específicas de cada campo amplifican las señales identificables.
   • Senioridad: El efecto fue consistente tanto para autores sénior como júnior, indicando que los riesgos de anonimato no se limitan a investigadores prominentes, sino que también afectan a científicos en el inicio de su carrera.

4. Límites de la Complejidad:

   • Agregación: Combinar las predicciones de múltiples modelos produjo solo mejoras marginales respecto al mejor modelo individual.
   • Deliberación: El razonamiento de múltiples rondas en realidad degradó el desempeño, aumentando el tamaño del conjunto sospechoso y reduciendo la recuperación. Esto sugiere que los pasos de razonamiento adicionales introducen incertidumbre en lugar de nuevas señales de autoría cuando la entrada está restringida a resúmenes cortos.

Significancia y Reivindicaciones
El artículo argumenta que la revisión de doble ciego enfrenta una limitación estructural en la era de la investigación aumentada por IA. Los hallazgos desafían la suposición fundacional de que eliminar los identificadores explícitos es suficiente para preservar el anonimato. Los autores afirman que:

• El Anonimato es Probabilístico, No Absoluto: La revisión de doble ciego no falla en un sentido absoluto (es decir, no se garantiza la identificación perfecta), pero sufre de una "vulnerabilidad graduada". Los LLM pueden reducir sistemáticamente el conjunto de autores plausibles a un subconjunto pequeño y de alta confianza, lo cual puede ser suficiente para influir en las expectativas y el comportamiento de los revisores.
• Inferencia Más Allá del Estilo: La amenaza no proviene de la mímica estilística o de artefactos bibliográficos, sino del contenido semántico en sí mismo—específicamente, las formas únicas en que los investigadores enmarcan los problemas y definen las contribuciones.
• Implicaciones de Política: Las directrices actuales de anonimización, que se centran en características superficiales (nombres, citas, afiliaciones), pueden ser insuficientes. Los autores sugieren que la comunidad de investigación debe reevaluar cómo se mantienen el anonimato y la equidad, reconociendo que la identidad puede inferirse a partir del propio enmarcado científico del trabajo.

El artículo concluye con modestia, señalando que, si bien los modelos reducen la incertidumbre, no siempre identifican al autor correcto con certeza. Sin embargo, la reducción constante del grupo de candidatos representa un cambio significativo en el perfil de riesgo de la revisión de doble ciego, lo que exige un reexamen de las políticas de revisión en un ecosistema integrado con la IA.