Resumen Técnico: El Costo Oculto del Pensamiento

Declaración del Problema

Los informes ambientales actuales para los Modelos de Lenguaje Grande (LLM) se centran estrechamente en los costos energéticos y de carbono del preentrenamiento de un único modelo final. Este enfoque hace invisible la mayoría del ciclo de vida moderno de desarrollo. A medida que las pipelines de modelos han evolucionado para incluir entrenamiento intermedio, extensión de contexto largo, generación de datos sintéticos, ajuste fino supervisado (SFT), optimización de preferencias (DPO) y aprendizaje por refuerzo (RL), la huella ambiental se ha expandido significativamente. Además, la aparición de modelos de "razonamiento", que dependen en gran medida del Aprendizaje por Refuerzo con Recompensas Verificables (RLVR), introduce cargas de trabajo intensivas en cómputo (específicamente la generación de despliegues) que no se capturan en los informes estándar centrados en el preentrenamiento. Además, trabajos anteriores han sugerido que los costos de desarrollo (experimentación, ejecuciones fallidas, ablaciones) son sustanciales, pero la magnitud de estos costos en pipelines complejas y multietapa permanece sin cuantificar.

Metodología

Los autores proporcionan una contabilidad ambiental detallada para la familia de modelos Olmo 3 (7B y 32B parámetros), lanzada en variantes de seguimiento de instrucciones ("Instruct") y de razonamiento ("Think").

• Alcance: El estudio cubre toda la pipeline de desarrollo: generación de datos, preentrenamiento, entrenamiento intermedio, extensión de contexto largo y todas las etapas posteriores al entrenamiento (SFT, DPO, RLVR), incluyendo tanto las ejecuciones finales de entrenamiento como las iteraciones de desarrollo (búsquedas de hiperparámetros, ablaciones, ejecuciones fallidas) que las preceden.
• Hardware e Infraestructura: El entrenamiento se realizó en el clúster Jupiter (Cirrascale, Texas) utilizando GPUs NVIDIA H100-80GB. La generación de datos utilizó el superordenador Frontier con GPUs AMD MI250X.
• Cálculo de Energía y Emisiones:
  • Potencia: La potencia total del centro de datos ($P_{DC}$) se calcula como $P_{GPU} \times 1.74 \times PUE$. El factor 1.74 contabiliza la sobrecarga de servidores no GPU e infraestructura de TI (basado en Epoch AI, 2025), mejorando métodos anteriores que solo multiplicaban la potencia de la GPU por el PUE.
  • Carbono: Las emisiones se calculan como $CO_2e = P_{DC} \times CI$, donde la Intensidad de Carbono (CI) es 0.332 kg CO2/kWh.
  • Agua: El consumo se calcula como $Water = P_{DC} \times (WUE_{onsite} + WUE_{offsite})$. El centro de datos utiliza refrigeración en circuito cerrado ($WUE_{onsite} = 0$), lo que significa que todo el consumo de agua se atribuye a la generación de energía ($WUE_{offsite} = 1.29$ L/kWh).
  • Emisiones Incorporadas: Los impactos de la fabricación de hardware se amortizan sobre una vida útil de 4 años.
• Comparación: El estudio compara las variantes "Think" (razonamiento) e "Instruct", que comparten un modelo base común pero divergen en las estrategias posteriores al entrenamiento.

Contribuciones Clave

1. Primera Desglose Detallado Post-Entrenamiento: Este trabajo es el primero en medir e informar los costos ambientales de etapas específicas posteriores al entrenamiento (SFT, DPO, RL) y la generación de datos sintéticos, permitiendo una comparación directa entre etapas y variantes de modelos.
2. Cuantificación de los Costos de "Pensar": Los autores demuestran que los modelos de razonamiento son significativamente más costosos de entrenar posteriormente que los modelos ajustados a instrucciones, impulsados específicamente por la generación de despliegues RLVR.
3. Estimaciones Revisadas de Costos de Desarrollo: El estudio actualiza la estimación de los costos de desarrollo (experimentación y ejecuciones fallidas) del ~50% del cómputo total reportado anteriormente al 82.2%, destacando que informar solo las ejecuciones finales subestima el impacto real en aproximadamente 5 veces.
4. Análisis de Atribución de Agua: El documento aclara que el consumo de agua en esta configuración específica se impulsa enteramente por la infraestructura de generación de energía y no por la refrigeración del centro de datos, desafiando narrativas comunes que atribuyen el uso de agua principalmente a la refrigeración de cargas de trabajo de IA.

Resultados

Impacto Ambiental Total

El desarrollo de la serie Olmo 3 (incluyendo ejecuciones finales, iteraciones de desarrollo y generación de datos) resultó en:

• Energía: ~12.3 GWh de energía del centro de datos.
• Carbono: ~4,251 tCO2eq (equivalente a la electricidad de ~847 hogares de EE. UU. durante un año).
• Agua: ~15,887 kL (equivalente a ~140 años de uso de agua por una persona promedio de EE. UU.).
• Cómputo: ~13.2 millones de horas de GPU en total.

El Costo del Razonamiento (Think vs. Instruct)

• Disparidad Energética: La fase de entrenamiento posterior del modelo "Think" de 32B consume 17 veces más energía del centro de datos que el modelo "Instruct" de 32B.
• Impulsor: Esta disparidad es impulsada por la generación de despliegues RLVR. En el modelo Think de 32B, la generación de despliegues RLVR representa el 87% de la energía de entrenamiento posterior.
• Mecanismo: El generador RLVR (inferencia autoregresiva) opera a ~600W por GPU, mientras que el entrenador opera a 130–220W. El generador es funcionalmente idéntico a la inferencia a gran escala, pero requiere generar trazas extremadamente largas (promediando >10,000 tokens, máximo 32,768) a través de muchas iteraciones.
• Volumen de Tokens: El entrenador RLVR para el modelo Think de 32B procesa ~18.7 mil millones de tokens, en comparación con ~564 millones para la variante Instruct (una diferencia de 33 veces).

Costos de Desarrollo

• Proporción: Las actividades de desarrollo (búsquedas de hiperparámetros, ablaciones, ejecuciones fallidas) representaron el 82.2% de las horas totales de GPU y el 80.9% de la energía total de GPU (excluyendo la generación de datos).
• Variación por Etapa: Las etapas posteriores al entrenamiento son particularmente intensivas en iteraciones. Las fracciones de desarrollo para las etapas posteriores al entrenamiento superaron el 91% (por ejemplo, 97.5% para entrenamiento intermedio/mezcla de datos, 97.1% para DPO).
• Comparación: Esto representa un aumento significativo respecto a la fracción de desarrollo de ~50% reportada en trabajos anteriores (Morrison et al., 2025) para pipelines centradas en el preentrenamiento.

Consumo de Agua

• Fuente: El 100% del consumo de agua se atribuyó a la generación de energía ($WUE_{offsite}$), ya que el centro de datos utilizó refrigeración en circuito cerrado ($WUE_{onsite} = 0$).
• Implicación: Los costos de agua son estrictamente proporcionales al consumo de energía en esta configuración, lo que sugiere que reducir el uso de energía es la palanca principal para reducir el impacto del agua, en lugar de cambiar la infraestructura de refrigeración.

Significado y Afirmaciones

El documento argumenta que el estándar actual de informar solo los costos de preentrenamiento es insuficiente para una contabilidad ambiental precisa. A medida que las pipelines se vuelven más complejas y los modelos de razonamiento se convierten en el paradigma predeterminado, los "costos ocultos" del entrenamiento posterior y el desarrollo están creciendo rápidamente.

• Transparencia: Los autores afirman que una contabilidad precisa, basada en mediciones, de todo el ciclo de vida de desarrollo es esencial para directrices regulatorias informadas y para que la comunidad de investigación desarrolle estrategias efectivas para reducir la huella ambiental de la IA.
• Viabilidad: Contrario a las afirmaciones de que tal informe detallado es impráctico, los autores demuestran que es factible desglosar los costos a través de múltiples etapas y variantes.
• Recomendaciones de Política: El documento concluye con cuatro recomendaciones:
  1. Informar los costos completos de la pipeline (entrenamiento posterior y generación de datos), no solo el preentrenamiento.
  2. Incluir costos de desarrollo (como mínimo como un multiplicador).
  3. Divulgar métricas de eficiencia del centro de datos (PUE, WUE, tipo de refrigeración, mezcla de energía).
  4. Los fabricantes de GPU deben divulgar los impactos de la fabricación (emisiones incorporadas).

El trabajo se posiciona como un paso fundamental hacia la comprensión de la verdadera huella ambiental de la IA moderna, enfatizando que el "costo de pensar" es un factor de escalada rápida que debe abordarse en los estándares de sostenibilidad.