What Citations Get Wrong: A Full-Corpus Audit of Reference Existence and Claim Support in a Major NLP Conference
Este artículo audita las actas de ACL 2026 para hallar que, si bien casi todas las referencias citadas existen, una auditoría automatizada de ejecución única del soporte de afirmaciones falló al no poder replicarse debido a una configuración de modelo no registrada, demostrando que la verificación rigurosa de citas requiere un registro operativo estricto para asegurar la reproducibilidad.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En la vasta biblioteca de la ciencia moderna, una cita es más que un simple nombre en una lista; es una promesa. Cuando un autor escribe una frase y señala a otro artículo, está asumiendo dos compromisos distintos. Primero, promete que el artículo al que apunta realmente existe y puede ser encontrado. Segundo, y mucho más difícil de verificar, promete que el artículo al que apunta dice realmente lo que el autor afirma que dice. Durante décadas, la comunidad científica se ha preocupado principalmente por la primera promesa, especialmente con el auge de la inteligencia artificial. Existe un temor creciente de que los programas informáticos estén inventando artículos falsos, llenando las listas de referencias con títulos y autores que nunca existieron, contaminando eficazmente el registro académico con ficción. Esta ansiedad ha sido ruidosa, pero la evidencia para respaldarla ha sido escasa. Mientras tanto, la segunda promesa —la exactitud de la afirmación en sí— ha recibido mucha menos atención, a pesar de que es la prueba más antigua y fundamental de si un científico está diciendo la verdad sobre sus fuentes.
Un investigador llamado Tao An decidió probar ambas promesas a la vez, no en una pequeña muestra, sino en todo un año de artículos de una importante conferencia de ciencias de la computación. El equipo auditó cada referencia de los actas de 2026 de la Asociación para la Lingüística Computacional, una colección que contiene casi 4.500 artículos y más de 200.000 referencias, para comprobar si apuntaban a documentos reales. Para un subconjunto de citas más pequeño y muestreado, también comprobaron si el documento realmente respaldaba la frase que lo citaba. El objetivo era ver si el temor a los referentes falsos generados por IA estaba fundamentado en la realidad, y medir con qué frecuencia un autor tergiversa lo que sus fuentes realmente dicen.
La investigación comenzó con la primera promesa: la existencia. Los investigadores construyeron un sistema para comprobar si cada referencia apuntaba a una obra real y recuperable. Descubrieron que la gran mayoría de las referencias, aproximadamente el 91 por ciento, se resolvían con éxito en literatura real. El pequeño número de referencias que no coincidían no eran artículos falsos en absoluto; eran cosas como publicaciones de blogs, documentación de software o errores de análisis donde la computadora había leído mal el texto. Cuando el equipo revisó manualmente la diminuta fracción de referencias que parecían sospechosas, encontraron solo dos instancias, de casi 210.000, donde se confirmó que un artículo era completamente inexistente. Este resultado sugiere que, en esta plataforma importante, el temor a que la IA esté llenando la literatura con papeles inventados carece de fundamento en gran medida. Las referencias son casi siempre reales.
Sin embargo, la historia cambió por completo cuando los investigadores pasaron a la segunda promesa: si el artículo citado realmente respaldaba la afirmación. Esta es una tarea mucho más difícil, que requiere que el sistema lea el artículo citado y lo compare con la frase que lo referencia. El equipo utilizó un proceso de dos etapas que involucraba modelos informáticos para señalar las citas que parecían tergiversar sus fuentes. En su primer intento, el sistema señaló un número muy pequeño de errores, sugiriendo que los autores eran mayoritariamente precisos. Pero cuando los investigadores ejecutaron exactamente el mismo proceso de nuevo, utilizando el mismo código informático y los mismos artículos, los resultados fueron radicalmente distintos. La segunda y tercera ejecución encontraron un número de errores aproximadamente seis veces mayor que la primera ejecución.
Esta inconsistencia se convirtió en el hallazgo más importante del estudio. Los investigadores rastrearon la causa hasta una variable oculta: no se había registrado el modelo informático específico utilizado para realizar el juicio inicial. En la primera ejecución, el sistema había recurrido silenciosamente a un modelo más débil que pasó por alto muchos errores. En las ejecuciones posteriores, se utilizó un modelo diferente y más fuerte, que detectó muchos más problemas. Debido a que la primera ejecución utilizó un modelo que nunca fue registrado, los investigadores no podían decir con certeza qué había medido realmente ese primer resultado. La lección fue contundente: una auditoría automatizada única, sin importar cuán cuidadosamente sea verificada a mano, no puede ser confiable si el proceso no puede repetirse con las mismas herramientas exactas. La medición misma era inestable.
Cuando los investigadores analizaron los datos que sí se replicaron, encontraron que los errores eran reales, pero no eran el tipo de sinsentido generado por máquinas que la gente temía. Los errores confirmados eran errores humanos sutiles. Un autor había tomado un artículo real y afirmado que decía lo contrario de lo que realmente argumentaba, o había citado un hallazgo amplio cuando el artículo solo respaldaba uno estrecho. Estos no eran alucinaciones creadas por una inteligencia artificial; eran el tipo de errores que un investigador cansado podría cometer al apresurarse para terminar un manuscrito. Los errores eran invisibles para cualquier herramienta que solo comprueba si una referencia existe, porque los artículos eran reales, pero la conexión entre la afirmación y la fuente estaba rota.
El estudio también reveló que el proceso de revisión por pares, donde otros científicos revisan los artículos antes de que se publiquen, no parecía detectar estos errores de soporte. Cuando el equipo comparó los artículos de la conferencia publicados con un conjunto de borradores no revisados, la tasa de errores de citación fue estadísticamente la misma. Esto sugiere que el sistema actual de revisión por pares no está diseñado para comprobar cada cita contra su fuente, una tarea que tomaría demasiado tiempo para los revisores voluntarios. En cambio, la responsabilidad de asegurar que una cita realmente respalde la afirmación recae probablemente en el propio autor antes de enviar su trabajo.
En última instancia, la auditoría proporcionó una imagen clara de dónde residen los problemas. El temor a que el registro científico esté siendo inundado con artículos falsos e inexistentes no está respaldado por los datos; las referencias son casi siempre reales. El verdadero problema es la exactitud de las afirmaciones vinculadas a esas referencias. Estos errores son sutiles, humanos y difíciles de detectar automáticamente porque las herramientas utilizadas para encontrarlos aún no son lo suficientemente estables como para dar un número único y fiable. El estudio concluye que, antes de que podamos confiar en las máquinas para vigilar la integridad de la ciencia, primero debemos asegurar que las propias máquinas sean consistentes y que sus propios errores sean comprendidos plenamente. Los defectos que permanecen no son una señal de que un sistema esté colapsando bajo el peso de la inteligencia artificial, sino un recordatorio de la perdurable complejidad de la erudición humana.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.