Cost Does Not Buy Impact: A 173K-Dataset Audit of the AI Data Economy

Resumen Técnico: El costo no compra el impacto: Una auditoría de 173K conjuntos de datos de la economía de datos de la IA

Planteamiento del problema
Si bien los conjuntos de datos son el componente fundamental de la inteligencia artificial moderna, la realidad económica de su construcción sigue siendo opaca a escala. La literatura actual rastrea la inversión en IA principalmente como capital agregado de la industria o parámetros de modelos, careciendo de registros granulares de costos por conjunto de datos. En consecuencia, no está claro si las sustanciales inversiones en computación de máquina y mano de obra humana se traducen en impacto científico (medido por citas y uso). Además, la distribución de estos costos entre diferentes creadores, dominios de investigación y orígenes de datos (mundo real, sintéticos, heredados) es poco comprendida, particularmente en el contexto de los efectos de sustitución de los Grandes Modelos de Lenguaje (LLM). Los autores identifican una brecha crítica: la incapacidad de medir si el "costo compra impacto" o si otros factores, como las redes de autoría y la temporalidad temática, impulsan el éxito de los conjuntos de datos.

Metodología
Para abordar esto, los autores desarrollaron un pipeline asistido por modelos de lenguaje para estimar los costos de computación de máquina y de mano de obra humana por separado para 173,369 conjuntos de datos vinculados a artículos de arXiv CS de 2010 a 2025. La metodología se estructura en tres etapas:

1. Extracción de Metadatos (Etapa 1): Utilizando el mapeo ChatPD, el pipeline enriquece los registros de los conjuntos de datos con cinco categorías de metadatos: creador, impacto, dominio de investigación, licencia y origen. Esto implica un enfoque multimodelo donde Claude Sonnet 4.5 extrae metadatos de creador e impacto de los PDF, Gemini 2.5 Pro proporciona fundamentación mediante búsqueda web, y Claude Opus 4.5 asigna etiquetas de dominio y origen.
2. Entrenamiento del Modelo de Costos (Etapa 2): Para evitar el costo prohibitivo de la inferencia basada en API a escala, los autores ajustaron un modelo de pesos abiertos (Qwen3-32B) sobre un subconjunto de alta fidelidad de 22,084 conjuntos de datos. El entrenamiento siguió un diseño de "Transferencia de Conocimiento y Completitud":
   • Imputación de Números SFT: El modelo aprendió a recuperar valores numéricos enmascarados (costos, horas) a partir de evidencia textual.
   • Estimación de Costos SFT: El modelo fue destilado de Claude Opus 4.5 para generar estimaciones de costos estructuradas.
   • Optimización GRPO: Se aplicó la Optimización de Política Relativa de Grupo (GRPO) utilizando un juez de LLM de nueve dimensiones ponderadas (GPT-5-mini) para refinar la calidad del razonamiento y reducir las alucinaciones.
3. Inferencia y Análisis (Etapa 3): El modelo entrenado se desplegó para generar estimaciones emparejadas de costo de máquina (USD) y horas humanas (h) para el corpus completo de 173K. Crucialmente, estas dos métricas se mantuvieron en ejes separados para evitar los sesgos introducidos al convertir las horas de labor en moneda mediante supuestos de salarios volátiles.

Contribuciones Clave

• Primera Auditoría de Costos a Escala Poblacional: El artículo presenta la primera encuesta a nivel de artefacto de la economía de datos de la IA con aproximadamente 173,000 conjuntos de datos, proporcionando metadatos estructurados sobre costo, horas, origen y uso.
• Pipeline de Estimación de Costos Reproducible: Los autores lanzan un pipeline que mapea registros brutos de artículos-conjuntos de datos a estimaciones emparejadas de costo de máquina y horas humanas, validadas mediante un protocolo de juez multidimensional.
• Modelo de Costos de Pesos Abiertos: Se lanza un modelo ligero de pesos abiertos, lo que permite un despliegue económico y apoya los objetivos de accesibilidad e interoperabilidad en la IA de código abierto.

Resultos Clave
La auditoría revela tres cambios primarios en la economía de los datos de entrenamiento:

1. Trayectoria de Costo No Monotónica: Los costos por conjunto de datos se mantuvieron ampliamente estables entre 2019 y 2022, experimentaron un descenso de aproximadamente el 10% durante el valle de sustitución de LLM en 2023–2024, y repuntaron abruptamente en 2025 (+35% en costo de máquina, +28% en horas humanas). Mientras que la inversión anual total creció veinte veces, esto fue impulsado casi enteramente por un aumento en el número de conjuntos de datos lanzados, no en el costo mediano por conjunto de datos. El repunte de 2025 se atribuye a un cambio hacia datos con mayor carga de razonamiento y verificación experta (por ejemplo, la era de DeepSeek-R1) y al aumento de los costos de cómputo/nube.
2. Cambios de Composición: Los conjuntos de datos "heredados" (derivados de corpora ascendentes) están aumentando más rápido tanto en costo como en horas, impulsados por un intenso reprocesamiento y re-auditorías expertas. Por el contrario, las participaciones de datos del "mundo real" están disminuyendo, mientras que los datos "sintéticos" siguen siendo el origen más barato.
3. Desacoplamiento de Costo e Impacto: El estudio encuentra que ni el costo de máquina ni el costo de horas humanas son predictores significativos del impacto académico (citas o uso) de un conjunto de datos. En su lugar, el impacto está fuertemente correlacionado con:
   • Conteo de Autores: Los equipos más grandes se correlacionan con una velocidad de citación significativamente mayor, aunque no necesariamente con tasas de uso más altas.
   • Prevalencia Temática (Calor): Los conjuntos de datos lanzados temprano en el ciclo de vida de un tema ("pioneros") o en vecindarios temáticos concurridos logran un mayor impacto.
   • Estructura de Colaboración: Las colaboraciones intersectoriales y multipaís muestran tasas de citación más altas.
   • Nulidad de Costo-Impacto: La relación entre el costo de máquina y el de humanos no conlleva una prima de impacto; las construcciones "intensivas en cómputo" y las "intensivas en labor" se desempeñan de manera similar al controlar otros factores.

Significancia y Reivindicaciones
El artículo afirma que sus hallazgos alteran fundamentalmente la comprensión de la economía de los datos de la IA al demostrar que el costo no compra impacto. Los autores argumentan que el valor de un conjunto de datos está determinado más por el diseño intelectual, la organización del trabajo científico y la temporalidad de su lanzamiento respecto a las preguntas de frontera, que por los recursos financieros invertidos en su construcción.

Los autores posicionan su trabajo como una herramienta para la política y la práctica:

• Para los Constructores: Sugieren priorizar la verificación experta sobre el volumen y ser explícitos sobre los orígenes de los datos.
• Para los Financiadores: Advierten que los indicadores basados solo en citas pueden asignar mal los recursos al favorecer las redes de distribución establecidas (efectos Mateo) en lugar de la calidad del artefacto, recomendando la inclusión de señales de adopción y auditoría de origen.
• Para la Infraestructura: Destacan la necesidad de acortar el desfase de transmisión entre las señales académicas y los precios industriales, y de apoyar la "larga cola" de los conjuntos de datos subestimados.

Los autores mantienen la modestia respecto a las afirmaciones causales, señalando que su nulidad de costo-impacto es observacional y que no se pueden descartar patrones de causalidad inversa (por ejemplo, que los corpora industriales costosos sean usados para el entrenamiento en lugar de ser citados) sin diseños aleatorizados. También reconocen las limitaciones de la cobertura del dataset ChatPD en campos ajenos a arXiv y el sesgo de orden de magnitud en las estimaciones de dólares absolutos, enfatizando que sus conclusiones dependen de tendencias relativas y clasificaciones en lugar de valores monetarios absolutos.