Resumo Técnico: Rumo a LLMs Eficientes em Recursos: Contabilidade Energética de Ponta a Ponta de Pipelines de Destilação

Declaração do Problema

A rápida implantação de Modelos de Linguagem de Grande Porte (LLMs) intensificou preocupações relacionadas ao consumo de eletricidade, à escalabilidade de datacenters e ao impacto ambiental. Embora a destilação de modelos seja frequentemente promovida como um caminho para modelos mais eficientes e baratos, as atuais alegações de sustentabilidade muitas vezes dependem de contabilidade incompleta. Especificamente, trabalhos anteriores tipicamente relatam apenas os custos de treinamento do lado do aluno (por exemplo, FLOPs, tempo de execução), omitindo as substanciais cargas de trabalho do lado do professor necessárias para a destilação, como geração de dados sintéticos, cache de logits, filtragem e avaliação. Essa omissão torna difícil fundamentar alegações de que a destilação é inerentemente mais eficiente em energia ou "mais verde" do que o Ajuste Fino Supervisionado (SFT) padrão.

Metodologia

Os autores propõem uma estrutura abrangente de contabilidade energética de ponta a ponta, projetada para medir o custo computacional completo de pipelines de destilação.

Configuração Experimental:

• Hardware/Ambiente: Os experimentos foram conduzidos em uma única GPU NVIDIA H100 SXM 80 GB e 16 núcleos de CPU Intel Xeon Gold para garantir condições consistentes. A pilha de software (Linux, drivers, CUDA) foi fixada em todas as execuções.
• Modelos: O estudo utiliza a família OLMo-2, apresentando um modelo professor de 32B de parâmetros e modelos alunos de 1B, 7B e 13B de parâmetros.
• Tarefas: Três cargas de trabalho supervisionadas foram utilizadas: seguimento de instruções (TULU-3), raciocínio matemático (OpenR1-Math-220k) e geração de código (Open-R1 Codeforces).
• Regimes de Destilação: Três pipelines foram comparados sob orçamentos de treinamento e hiperparâmetros fixos:
  1. SFT de Base: Treinamento direto nas etiquetas do conjunto de dados original.
  2. Destilação de Conhecimento Baseada em Logits (KD): O professor gera logits (cacheados offline) e o aluno é treinado para corresponder à distribuição suavizada do professor.
  3. Ajuste Fino Supervisionado Sintético (Synthetic SFT): O professor gera saídas sintéticas, que servem como etiquetas duras para o treinamento do aluno.

Protocolo de Medição:

• Rastreamento por Etapa: O pipeline é decomposto em etapas distintas: estabilização do ambiente ($E_{prerun}$), computação do lado do professor ($E_{teacher}$: cache de logits ou geração de dados), treinamento do aluno ($E_{student}$) e avaliação ($E_{eval}$).
• Métricas: A energia da GPU é medida diretamente via telemetria NVML (tratada como verdade fundamental). A energia da CPU e o CO2e são estimados usando ferramentas padrão (por exemplo, estimadores no estilo CodeCarbon). Os resultados são normalizados para Joules por token (J/token) e kWh total.
• Métricas de Qualidade: Uma pontuação de qualidade escalar ($Q$) é derivada pela média das pontuações normalizadas em cinco benchmarks (AlpacaEval 2, IFEval, MT-Bench-101, GSM8K, MMLU) em relação ao desempenho do professor.

Principais Contribuições

1. Protocolo e Harness de Energia de Destilação: Os autores formalizam um protocolo de registro por etapas e lançam um harness de medição de código aberto. Isso permite gráficos de energia comparáveis que separam explicitamente os custos do lado do professor dos custos de treinamento do aluno.
2. Benchmark Controlado com Fronteiras de Pareto: O estudo avalia alunos de 1B/7B/13B contra um professor de 32B através dos três pipelines. Ele constrói fronteiras de Pareto de energia-qualidade que revelam regimes onde a destilação é ou não eficiente.
3. Regras de Design e Condições de Equilíbrio: O artigo quantifica como fatores como reutilização do professor, comprimento da sequência e hiperparâmetros (por exemplo, temperatura de KD, pesos de perda) deslocam a fronteira de energia-qualidade. Ele deriva condições específicas sob as quais a destilação se torna competitiva em termos de energia.

Principais Resultados

• O Overhead do Professor Domina: Ao contabilizar o pipeline completo, tanto KD quanto Synthetic SFT consomem significativamente mais energia de ponta a ponta do que o SFT de Base para ganhos de qualidade comparáveis. O trabalho do lado do professor (cache de logits ou geração de dados) atua como um overhead quase fixo que desvia as curvas de destilação para a direita na fronteira de energia-qualidade.
• Escala e Eficiência: Modelos alunos maiores (por exemplo, 13B) alcançam maior qualidade, mas com retornos decrescentes em energia. Modelos menores (por exemplo, 1B) minimizam a energia, mas frequentemente falham em igualar a qualidade de modelos maiores de SFT de base.
• O Papel da Reutilização: A destilação não é inerentemente mais barata em um cenário "único". No entanto, o custo fixo do professor pode ser amortizado. Os autores derivam um limiar de equilíbrio ($N^*$) para o número de execuções do aluno necessárias para reutilizar artefatos do professor (logits em cache ou dados sintéticos) antes que a destilação se torne mais eficiente em energia do que o SFT de base. Por exemplo, um aluno de 7B requer aproximadamente 5–6 instâncias de reutilização para atingir o equilíbrio com KD, enquanto um aluno de 13B requer apenas 2–3.
• Sensibilidade aos Hiperparâmetros:
  • Em KD, aumentar a temperatura ($T$) produz ganhos modestos de qualidade para pequenos aumentos de energia; o peso de mistura ($\alpha$) é um controle mais crítico para o trade-off.
  • Em Synthetic SFT, o orçamento de geração (novos tokens máximos) é o principal motor de energia. Aumentar o comprimento do token melhora a qualidade, mas exibe crescimento não linear de energia com retornos decrescentes.

Significado e Alegações

O artigo argumenta que a destilação não é inerentemente sustentável quando vista através de uma lente de ponta a ponta. A percepção comum da destilação como um método "mais barato" frequentemente decorre da ignorância dos custos upstream do professor.

Os autores afirmam que:

1. Dependência do Fluxo de Trabalho: Se a destilação é eficiente em custos é principalmente uma questão de fluxo de trabalho (especificamente, a capacidade de reutilizar artefatos do professor) e não uma propriedade intrínseca do algoritmo.
2. Transparência: As práticas atuais de relatórios obscurecem o verdadeiro custo ambiental do desenvolvimento de IA. Ao adotar a contabilidade por etapas, os praticantes podem tomar decisões informadas sobre quando usar destilação versus SFT de base.
3. Diretrizes Práticas: O artigo fornece regras de design concretas:
   • Relatar tanto a energia apenas do aluno quanto a do pipeline completo com suposições explícitas de reutilização.
   • Tratar artefatos do professor como infraestrutura compartilhada (em cache e versionada) para amortizar custos.
   • Usar SFT de base quando a reutilização for baixa; favorecer a destilação apenas quando os artefatos do professor puderem ser reutilizados em múltiplos alunos ou varreduras de hiperparâmetros.

Os autores observam explicitamente que seus limiares quantitativos são específicos de hardware e que sua análise foca na energia operacional, excluindo emissões incorporadas da fabricação de hardware. Eles posicionam seu trabalho como uma fundação para relatórios mais honestos de computação e energia tanto em ambientes acadêmicos quanto industriais.