Resumo Técnico: O Custo Oculto do Pensamento

Declaração do Problema

Os relatórios ambientais atuais para Modelos de Linguagem de Grande Escala (LLMs) concentram-se de forma restrita nos custos energéticos e de carbono do pré-treinamento de um único modelo final. Essa abordagem torna invisível a maioria do ciclo de vida moderno de desenvolvimento. À medida que os pipelines de modelos evoluíram para incluir mid-training, extensão de contexto longo, geração de dados sintéticos, ajuste fino supervisionado (SFT), otimização de preferências (DPO) e aprendizado por reforço (RL), a pegada ambiental expandiu-se significativamente. Além disso, o surgimento de modelos de "raciocínio", que dependem fortemente de Aprendizado por Reforço com Recompensas Verificáveis (RLVR), introduz cargas de trabalho intensivas em computação (especificamente a geração de rollout) que não são capturadas em relatórios padrão centrados no pré-treinamento. Adicionalmente, trabalhos anteriores sugeriram que os custos de desenvolvimento (experimentação, execuções falhas, ablações) são substanciais, mas a extensão desses custos em pipelines complexos e multifaseados permanece não quantificada.

Metodologia

Os autores fornecem uma contabilidade ambiental detalhada para a família de modelos Olmo 3 (7B e 32B parâmetros), lançada em variantes de seguimento de instruções ("Instruct") e de raciocínio ("Think").

• Escopo: O estudo cobre todo o pipeline de desenvolvimento: geração de dados, pré-treinamento, mid-training, extensão de contexto longo e todas as etapas pós-treinamento (SFT, DPO, RLVR), incluindo tanto as execuções finais de treinamento quanto as iterações de desenvolvimento (buscas de hiperparâmetros, ablações, execuções falhas) que as precedem.
• Hardware e Infraestrutura: O treinamento ocorreu no cluster Jupiter (Cirrascale, Texas) usando GPUs NVIDIA H100-80GB. A geração de dados utilizou o supercomputador Frontier com GPUs AMD MI250X.
• Cálculo de Energia e Emissões:
  • Potência: A potência total do datacenter ($P_{DC}$) é calculada como $P_{GPU} \times 1,74 \times PUE$. O fator 1,74 contabiliza a sobrecarga de servidores não-GPU e infraestrutura de TI (baseado em Epoch AI, 2025), aprimorando métodos anteriores que multiplicavam apenas a potência da GPU pelo PUE.
  • Carbono: As emissões são calculadas como $CO_2e = P_{DC} \times CI$, onde a Intensidade de Carbono (CI) é 0,332 kg CO2/kWh.
  • Água: O consumo é calculado como $Water = P_{DC} \times (WUE_{onsite} + WUE_{offsite})$. O datacenter utiliza refrigeração em circuito fechado ($WUE_{onsite} = 0$), o que significa que todo o consumo de água é atribuído à geração de energia ($WUE_{offsite} = 1,29$ L/kWh).
  • Emissões Incorporadas: Os impactos da fabricação de hardware são amortizados ao longo de uma vida útil de 4 anos.
• Comparação: O estudo compara as variantes "Think" (raciocínio) e "Instruct", que compartilham um modelo base comum, mas divergem nas estratégias de pós-treinamento.

Principais Contribuições

1. Primeira Análise Detalhada do Pós-Treinamento: Este trabalho é o primeiro a medir e relatar os custos ambientais de etapas específicas de pós-treinamento (SFT, DPO, RL) e geração de dados sintéticos, permitindo comparação direta entre etapas e variantes de modelos.
2. Quantificação dos Custos do "Pensamento": Os autores demonstram que modelos de raciocínio são significativamente mais caros para pós-treinamento do que modelos ajustados por instruções, impulsionados especificamente pela geração de rollout RLVR.
3. Estimativas Revisadas de Custos de Desenvolvimento: O estudo atualiza a estimativa de custos de desenvolvimento (experimentação e execuções falhas) dos ~50% de computação total relatados anteriormente para 82,2%, destacando que relatar apenas as execuções finais subestima o impacto real em aproximadamente 5 vezes.
4. Análise de Atribuição de Água: O artigo esclarece que o consumo de água nesta configuração específica é impulsionado inteiramente pela infraestrutura de geração de energia e não pela refrigeração do datacenter, desafiando narrativas comuns que atribuem o uso de água principalmente ao resfriamento de cargas de trabalho de IA.

Resultados

Impacto Ambiental Total

O desenvolvimento da série Olmo 3 (incluindo execuções finais, iterações de desenvolvimento e geração de dados) resultou em:

• Energia: ~12,3 GWh de energia de datacenter.
• Carbono: ~4.251 tCO2eq (equivalente à eletricidade de ~847 residências dos EUA por um ano).
• Água: ~15.887 kL (equivalente a ~140 anos de uso de água por uma pessoa média dos EUA).
• Computação: ~13,2 milhões de horas de GPU no total.

O Custo do Raciocínio (Think vs. Instruct)

• Disparidade Energética: A fase de pós-treinamento do modelo "Think" de 32B consome 17 vezes mais energia de datacenter do que o modelo "Instruct" de 32B.
• Fator Determinante: Essa disparidade é impulsionada pela geração de rollout RLVR. No modelo Think de 32B, a geração de rollout RLVR representa 87% da energia de pós-treinamento.
• Mecanismo: O gerador RLVR (inferência autoregressiva) opera a ~600W por GPU, enquanto o treinador opera a 130–220W. O gerador é funcionalmente idêntico à inferência em grande escala, mas requer a geração de traços extremamente longos (média >10.000 tokens, máximo 32.768) através de muitas iterações.
• Volume de Tokens: O treinador RLVR para o modelo Think de 32B processa ~18,7B tokens, comparado a ~564M para a variante Instruct (uma diferença de 33 vezes).

Custos de Desenvolvimento

• Proporção: Atividades de desenvolvimento (buscas de hiperparâmetros, ablações, execuções falhas) representaram 82,2% das horas totais de GPU e 80,9% da energia total de GPU (excluindo geração de dados).
• Variação por Etapa: As etapas de pós-treinamento são particularmente intensas em iterações. As frações de desenvolvimento para etapas de pós-treinamento excederam 91% (por exemplo, 97,5% para mid-training/mistura de dados, 97,1% para DPO).
• Comparação: Isso representa um aumento significativo em relação à fração de desenvolvimento de ~50% relatada em trabalhos anteriores (Morrison et al., 2025) para pipelines focados em pré-treinamento.

Consumo de Água

• Fonte: 100% do consumo de água foi atribuído à geração de energia ($WUE_{offsite}$), pois o datacenter utilizou refrigeração em circuito fechado ($WUE_{onsite} = 0$).
• Implicação: Os custos de água são estritamente proporcionais ao consumo de energia nesta configuração, sugerindo que reduzir o uso de energia é a alavanca principal para reduzir o impacto hídrico, em vez de mudar a infraestrutura de refrigeração.

Significado e Alegações

O artigo argumenta que o padrão atual de relatar apenas os custos de pré-treinamento é insuficiente para uma contabilidade ambiental precisa. À medida que os pipelines se tornam mais complexos e os modelos de raciocínio se tornam o paradigma padrão, os "custos ocultos" do pós-treinamento e do desenvolvimento estão crescendo rapidamente.

• Transparência: Os autores afirmam que uma contabilidade precisa, baseada em medições, de todo o ciclo de vida de desenvolvimento é essencial para diretrizes regulatórias informadas e para que a comunidade de pesquisa desenvolva estratégias eficazes para reduzir a pegada ambiental da IA.
• Viabilidade: Contrariando alegações de que tal relatório detalhado é impraticável, os autores demonstram que é viável decompor os custos em múltiplas etapas e variantes.
• Recomendações de Política: O artigo conclui com quatro recomendações:
  1. Relatar custos completos do pipeline (pós-treinamento e geração de dados), não apenas pré-treinamento.
  2. Incluir custos de desenvolvimento (no mínimo como um multiplicador).
  3. Divulgar métricas de eficiência do datacenter (PUE, WUE, tipo de refrigeração, mix de energia).
  4. Fabricantes de GPU devem divulgar impactos de fabricação (emissões incorporadas).

O trabalho posiciona-se como um passo fundamental para entender a verdadeira pegada ambiental da IA moderna, enfatizando que o "custo do pensamento" é um fator de rápida escalada que deve ser abordado nos padrões de sustentabilidade.