💻 computer science

A new impact for an AI-mediated science

Este artículo sostiene que la métrica tradicional de impacto científico basada en citas se está volviendo obsoleta en una era de revistas desvinculadas y acceso al conocimiento mediado por IA, lo que requiere un nuevo sistema que reconozca y mida las contribuciones de la interacción con la IA, las bibliotecas de código abierto y los conjuntos de datos que carecen de publicaciones formales.

Autores originales: Fabio Favoretto

Publicado 2026-07-09

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Fabio Favoretto

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: La Biblioteca está Cambiando, pero el Marcador no

Imagina el mundo de la ciencia como una biblioteca masiva. Durante los últimos 70 años, hemos medido el "éxito" de un libro contando cuántos otros libros en la biblioteca tienen una nota que dice: "Leí este". Este es el sistema de citas. Si un artículo es citado mucho, se considera importante.

Pero el autor, Fabio Favoretto, sostiene que la biblioteca está pasando por una renovación masiva. Estamos pasando de un mundo donde los humanos leen libros de principio a fin a un mundo donde los asistentes de IA (como los chatbots inteligentes) son la forma principal en que la gente encuentra información.

¿El problema? El marcador antiguo (contar citas) está roto porque no puede ver lo nuevo que la IA realmente está utilizando.

Analogía 1: El Motor Invisible

Imagina que estás conduciendo un coche. La forma antigua de juzgar el éxito de un coche era contar cuántos otros coches le tocaban la bocina. Pero ahora, el coche funciona con un nuevo motor invisible hecho de código de software y datos.

El Sistema Antiguo: Cuenta cuántos otros coches le tocaron la bocina al coche (el artículo publicado).
La Nueva Realidad: El coche en realidad funciona con un motor invisible (librerías de software como pandas o NumPy). Estos motores son tan esenciales que el coche no puede moverse sin ellos, pero nunca se les "toca la bocina" porque no están escritos como libros formales.

El artículo muestra que un tercio de las herramientas más importantes que usan los científicos no tienen ningún artículo formal en absoluto. Son solo código. El viejo sistema de citas es ciego ante ellos. Es como juzgar el éxito de un chef solo por las recetas que escribió, mientras ignoras el hecho de que su cocina funciona con una marca específica e invisible de estufa para la cual nunca escribió un manual.

Analogía 2: El Bibliotecario de IA

Piensa en un asistente de IA como un bibliotecario superrápido que responde a tus preguntas.

La Forma Antigua: Si preguntaras: "¿Qué sabemos sobre el cambio climático?", el bibliotecario te entregaría los libros más famosos y altamente calificados de la década de 1990 porque esos fueron los que otros bibliotecarios recomendaron.
La Nueva Forma: El bibliotecario de IA busca lo que es útil justo ahora. Te entrega libros más nuevos, guías más prácticas y resúmenes de acceso abierto.

El artículo encontró que la IA nos está mostrando una versión de la ciencia más joven, más diversa y más práctica que el antiguo sistema de citas.

La Brecha: En la ciencia del clima, los 50 artículos principales que una IA muestra son, en promedio, 16 años más jóvenes que los 50 artículos citados por humanos.
La Equidad: La IA tiene mucha más probabilidad de mostrarte artículos gratuitos y de acceso abierto (como un parque público) en lugar de revistas costosas y cerradas (como un club privado).

La Solución Propuesta: El "Índice de Impacto de la IA"

El autor propone una nueva forma de medir el éxito llamada el Índice de Impacto de la IA. En lugar de contar cuántas veces se cita un artículo, este nuevo índice cuenta con qué frecuencia un sistema de IA "toca" una obra.

El artículo define tres formas en las que una IA "toca" la ciencia:

Recuperación (Retrieval): La IA encuentra el artículo cuando haces una pregunta (como un bibliotecario sacando un libro de un estante).
Generación (Generation): La IA escribe una respuesta que suena muy similar al artículo (como un estudiante resumiendo un libro con sus propias palabras).
Memorización (Memorization): La IA puede recordar hechos específicos del artículo cuando se le pregunta directamente (como un campeón de trivia recordando una fecha específica).

Distinción Crucial: El autor es muy cuidadoso al decir que este nuevo índice no demuestra que el artículo sea "verdadero" o "el mejor". Simplemente demuestra que la IA llegó a él. Es una medida de acceso, no necesariamente de calidad.

Por qué esto importa (El "¿Y qué?")

El artículo argumenta que si no actualizamos nuestro sistema de puntuación, vamos a recompensar las cosas equivocadas.

El Riesgo: Podríamos seguir dando premios a personas que escriben artículos elegantes que ya nadie lee, mientras ignoramos a las personas que construyeron las herramientas de software y los conjuntos de datos invisibles en los que la IA (y el resto de la ciencia) realmente confía.
El Objetivo: Necesitamos una nueva "tecnología de confianza". Así como las revistas solían ser el sello de aprobación, necesitamos un sistema que pueda ver y dar crédito al software, los datos y las herramientas que la IA utiliza para hacer su trabajo.

Resumen en pocas palabras

La ciencia se está moviendo de un mundo de libros a un mundo de asistentes de IA. La forma antigua de medir el éxito (contar citas) es como intentar medir la popularidad de un videojuego contando cuántas personas compraron el manual de instrucciones. Ignora el hecho de que el juego mismo (el código, los datos, las herramientas) es con lo que todo el mundo está jugando realmente.

Este artículo sugiere que empecemos a contar con qué frecuencia la IA "juega" con la ciencia, para que finalmente podamos dar crédito a las herramientas invisibles que hacen que la ciencia moderna funcione.

Resumen Técnico: Un Nuevo Impacto para una Ciencia Mediada por la IA

Declaración del Problema
El artículo sostiene que el tradicional ecosistema de evaluación científica, construido sobre la revista como una "tecnología de confianza" y métricas basadas en citas, se está desalineando de la realidad de la práctica científica. A medida que los asistentes de IA median cada vez más la forma en que los investigadores, estudiantes y responsables de políticas acceden y sintetizan el conocimiento, el sistema actual no logra medir las contribuciones que realmente impulsan esta nueva capa de la ciencia. Específicamente, el sistema de citas no puede "ver" ni recompensar la infraestructura crítica, como las bibliotecas de software de código abierto, los conjuntos de datos curados y los métodos computacionales que carecen de artículos de origen formales. El autor postula que existe una divergencia significativa entre lo que los sistemas de IA recuperan y sintetizan frente a lo que el sistema de revistas y citas recompensa, creando un punto ciego en la evaluación científica que pasa por alto el "trabajo invisible" de la ciencia computacional.

Metodología
Para cuantificar esta divergencia y proponer un nuevo marco de medición, el autor llevó a cabo un estudio empírico en tres dominios científicos: ecología marina, genómica biomédica y ciencias de la Tierra/clima.

Construcción del Registro: Se ensambló un registro validado por curadores de 86 paquetes de software y datos, identificados como operativamente centrales para los científicos que trabajan en estos campos. Cada paquete fue clasificado por su procedencia de citación (artículo de origen completo, ruta de citación parcial o sin artículo).
Corpus y Diseño de Tareas: Se extrajo un corpus estratificado de 1,350 artículos (450 por dominio) de OpenAlex. Se creó un conjunto de 90 preguntas de investigación estándar (30 por dominio), verificadas por expertos en el dominio, para simular las interacciones típicas de un usuario con un asistente de IA.
El Índice de Impacto de la IA (AIII, por sus siglas en inglés): El estudio propone un marco para medir las "huellas de compromiso" (engagement footprints)—rastros observables de la interacción con la IA—a través de tres canales:
- Recuperación (R-AIII): Mide si un artículo o herramienta es devuelto por una búsqueda en una base de datos vectorial (usando sentence-transformers/all-MiniLM y ChromaDB) al responder preguntas de investigación. La puntuación combina la amplitud de las preguntas, la amplitud del tipo de tarea, la fuerza de la similitud y el retorno ponderado por rango.
- Generación (G-AIII): Mide la alineación semántica entre la salida de un modelo (generada únicamente a partir de la memoria de entrenamiento, sin aumentación de recuperación mediante Claude Son sonnet 4.5) y los resúmenes de los artículos en el corpus.
- Memorización (M-AIII): Indaga si un modelo puede recordar hallazgos específicos de un artículo cuando se le pregunta directamente, utilizando una regla conservadora de DESCONOCIDO para prevenir la confusión (alucinación).
Validación y Benchmarking: El marco fue validado contra:
- Coherencia Interna: Validación cruzada donde los canales de IA predijeron los unos a los otros (Spearman $\rho \approx 0.43–0.49$ ), mientras que las citas no predijeron nada.
- Fundamentación Externa: Correlación con un Índice de Uso Externo (EUI) basado en descargas y estrellas de GitHub. Notablemente, las métricas a nivel de artículo (incluyendo citas y AIII) mostraron una correlación nula con el uso a nivel de paquete, resaltando la naturaleza distinta del impacto de los artículos frente al de la infraestructura.
- Panel de Referencia: Comparación con las familias de métricas actuales en cuanto a cobertura de infraestructura, composición de tipos de artículos e informatividad más allá de las citas.

Resultados Clave

Invisibilidad de la Infraestructura: Un tercio de los 86 recursos centrales en el registro no tienen un artículo de origen formal. Otro cuarto tiene artículos de origen citados órdenes de magnitud menos de lo que los recursos son utilizados (por ejemplo, NumPy tiene ~20k citas pero 770 millones de descargas mensuales). En las ciencias del clima, el 60% de los paquetes encuestados no tienen ninguna ruta de citación.
Paisajes de Recuperación Divergentes: Los sistemas de recuperación de IA presentan una literatura sistemáticamente diferente a la clasificación basada en citas. En las ciencias del clima, el año de publicación mediano de los 50 artículos recuperados por IA es 2013, comparado con 1997 para los 50 artículos más citados. La IA también presenta una mayor proporción de artículos de métodos y revisiones de síntesis.
Implicaciones de Equidad: La literatura recuperada por IA muestra tasas de acceso abierto más altas (por ejemplo, 74% frente a 38% en ciencias del clima) y una mayor diversidad de revistas, lo que sugiere que la IA puede debilitar la función de control de las revistas tradicionales, aunque puede concentrar la influencia de nuevas maneras.
Brecha de Medición: Los mecanismos actuales de financiación y evaluación, que dependen de las citas, no logran dar crédito a las herramientas (por ejemplo, CDO, xarray, cartopy) sobre las cuales realmente corre la ciencia mediada por IA.

Significancia y Reivindicaciones
El artículo enmarca explícitamente el Índice de Impacto de la IA como un "prototipo conceptual" en lugar de una métrica de impacto totalmente validada. Su principal significancia es descriptiva y diagnóstica:

Visibilidad: Demuestra que existen rastros medibles del compromiso de la IA hoy en día y que revelan una capa de infraestructura científica (software, datos, métodos) que es operativamente central pero estructuralmente invisible para el sistema de citas.
Reencuadre del Impacto: El artículo argumenta que el compromiso de la IA no es una medida de verdad o importancia epistémica, sino una medida de "qué contribuciones está alcanzando ya la nueva pila tecnológica". Sirve como una señal necesaria para una nueva tecnología de confianza que debe reemplazar el sistema de revistas y citas.
Agenda Accionable: El autor propone tres prioridades independientes del índice específico: (1) construir un registro curado por la comunidad de infraestructura no publicada con eventos de uso no basados en citas; (2) estandarizar los tipos de eventos de compromiso de la IA para un registro auditable; y (3) establecer la gobernanza para estas métricas antes de su despliegue para evitar la manipulación (gaming).

El artículo concluye que, si bien el marco es exploratorio, el hallazgo de que el sistema de evaluación actual no puede ver la infraestructura de una ciencia mediada por la IA es robusto. Afirma que un sistema de evaluación ciego a esta capa está "midiendo algo completamente equivocado" y que la capacidad de medir estos rastros es el prerrequisito para un ecosistema científico post-revista justo.