When AI Writes, Who Gets Cited? Evidence of Citation Monoculture Across Language Models
Este estudio demuestra que diversos modelos de lenguaje exhiben un "monocultivo de citación" al seleccionar desproporcionadamente el mismo subconjunto estrecho de artículos reales debido a filtros de preferencia compartidos a nivel de contenido, un sesgo sistémico que persiste incluso cuando se eliminan las alucinaciones y no puede resolverse simplemente igualando la recuperación o mezclando proveedores.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Durante décadas, la forma en que la ciencia avanza ha dependido de un hábito humano sencillo: los investigadores leen el trabajo de otros y deciden qué artículos mencionar en sus propios escritos. Este acto de citación es más que una formalidad; es la moneda del crédito científico. Cuando un artículo es citado con frecuencia, gana visibilidad, lo que conduce a más citas en un ciclo conocido como el efecto Mateo, donde los ricos se hacen más ricos. Esta dinámica siempre ha dependido de lectores humanos, que pueden ver la reputación de un autor, el prestigio de una revista o el éxito pasado de un artículo, y dejar que esas señales guíen sus elecciones. Pero una nueva fuerza está entrando en la sala. La inteligencia artificial está yendo más allá de simplemente revisar la gramática para redactar revisiones bibliográficas completas y seleccionar las referencias que dan forma a lo que la comunidad científica ve. La pregunta ya no es solo si estas máquinas pueden escribir, sino qué eligen leer. Si se le pide a una IA que encuentre el trabajo más importante sobre un tema, ¿simplemente imita el sesgo humano o crea un nuevo tipo de sesgo propio?
Un equipo de investigadores se propuso responder a esto construyendo un experimento controlado que eliminara todo lo que suele influir en una cita. Reunieron 120 artículos científicos reales sobre un tema específico, pero antes de mostrárselos a la IA, ocultaron todas las señales de estatus habituales. Los nombres de los autores fueron reemplazados por nombres falsos, los años de publicación fueron mezclados y el número de veces que cada artículo había sido citado fue completamente eliminado. Se les pidió a los modelos de IA que escribieran reseñas cortas o documentos de posicionamiento, pero con una regla estricta: solo podían mencionar hasta diez de los treinta artículos mostrados en cada ronda. Esta escasez obligó a los modelos a tomar decisiones reales en lugar de listar todo lo que veían. Para asegurar que los resultados no fueran una casualidad, los investigadores compararon las elecciones de la IA contra una línea base donde una computadora elegía artículos al azar de la misma lista, y también pidieron a ocho expertos humanos que realizaran las mismas elecciones bajo las mismas condiciones exactas.
Los resultados revelaron un patrón sorprendente y uniforme. Mientras que los expertos humanos distribuyeron sus citas de manera bastante equitativa, tratando los artículos de forma muy similar a como lo haría un selector aleatorio, cada uno de los modelos de IA probados concentró su atención en un subconjunto de artículos diminuto y estrecho. En el grupo humano, el diez por ciento superior de los artículos recibió aproximadamente el 19 por ciento de las citas, lo cual es cercano a lo que se esperaría por azar. En contraste, los modelos de IA otorgaron entre el 23 y el 30 por ciento de sus citas a solo el diez por ciento superior de los artículos. Más importante aún, los modelos ignoraron consistentemente un número significativo de artículos que les fueron mostrados, dejando algunos completamente sin citar incluso después de haber sido exhibidos docenas de veces. No fue un caso de alucinación de referencias falsas; cada artículo que citaban era real, y cada artículo que ignoraban era real. El fallo no estuvo en la alucinación, sino en un filtro compartido e invisible que decidía qué artículos reales valían la pena leer.
Quizás el descubrimiento más inquietante fue que este filtro era el mismo para todos los modelos, independientemente de la empresa que los construyera. Ya fuera que la IA fuera fabricada por OpenAI, Google o Anthropic, todos favorecieron exactamente los mismos artículos e ignoraron los mismos. Los investigadores encontraron que las preferencias de estos once modelos diferentes eran tan similares que podían describirse como un mapa único y compartido de cómo se ve un artículo "citable". Este mapa no se basaba en los nombres de los autores o en la revista en la que aparecían, ya que estos estaban ocultos. En cambio, estaba impulsado enteramente por el texto de los resúmenes. Los modelos parecían ponerse de acuerdo en un estilo o tipo de contenido específico que merecía atención, favoreciendo artículos que sonaban como trabajo teórico central mientras que pasaban por alto sistemáticamente la investigación aplicada, incluso cuando los artículos aplicados eran tan reales y relevantes como los otros.
Para entender si esto era una memoria aprendida de citas pasadas o un juicio genuino de calidad, los investigadores probaron los modelos nuevamente después de reescribir los títulos y resúmenes de los artículos. Cambiaron las palabras por completo, asegurándose de que los modelos no pudieran reconocer los artículos por su texto superficial, pero manteniendo intacto el significado subyacente. El significado se mantuvo, pero las palabras cambiaron. Las elecciones de los modelos no cambiaron. Siguieron eligiendo los mismos artículos basándose en la nueva redacción, demostrando que su preferencia estaba arraigada en el significado del contenido, no en una lista memorizada de títulos famosos. Esto sugiere que los modelos han desarrollado una intuición convergente y compartida sobre lo que constituye un buen artículo, una que es distinta de cómo los expertos humanos evalúan realmente el mismo trabajo.
El estudio también exploró qué sucede cuando estos modelos se utilizan repetidamente a lo largo del tiempo. A medida que los modelos de IA escribían nuevos artículos y esos nuevos artículos se añadían de nuevo al grupo para una futura selección, los artículos reales originales se volvían más escasos. Los investigadores descubrieron que, a medida que los artículos reales se volvían más escasos, los modelos los citaban con mayor intensidad, casi como si estuvieran compitiendo por las pocas opciones "buenas" restantes. Sin embargo, esto no significó que los modelos estuvieran prestando más atención a la literatura real en su conjunto; de hecho, la proporción total de citas que iban a los artículos reales disminuyó significamente. Los modelos simplemente estaban concentrando su atención limitada en un grupo de supervivientes cada vez más pequeño, creando un bucle de retroalimentación donde una preferencia fija se encuentra con un catálogo que se diluye.
Esta investigación demuestra que el peligro de la inteligencia artificial en la ciencia no es solo que pueda inventar hechos falsos, sino que pueda ponerse de acuerdo silenciosamente en un conjunto estrecho de respuestas "correctas" mientras ignora el resto del campo. Incluso cuando todas las opciones son reales y cada artículo es igualmente visible, estos sistemas imponen un filtro común sobre la atención científica. Mezclar diferentes modelos no resuelve el problema, porque todos comparten el mismo sesgo subycente. La solución, sugieren los autores, requiere cambiar el mapa de preferencia compartido, en lugar de simplemente intentar diversificar las fuentes de información. Las máquinas no solo están leyendo la literatura; están comenzando a decidir qué es la literatura, y todas están decidiendo lo mismo.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.