Resumo Técnico: Troca entre Emissões e Desempenho entre Modelos de Linguagem Pequenos e Grandes

Declaração do Problema

A proliferação de Modelos de Linguagem de Grande Escala (LLMs) na academia e na indústria precipitou uma crise ambiental significativa. Embora os LLMs ofereçam capacidades avançadas, seu ciclo de vida — desde o treinamento intensivo em energia até bilhões de inferências diárias — gera emissões substanciais de dióxido de carbono (CO2). Por exemplo, o treinamento do GPT-3 sozinho emitiu uma estimativa de 550 toneladas métricas de CO2, excluindo a fabricação de hardware e custos de inferência. Crucialmente, estimativas recentes sugerem que a inferência representa até 90% do uso de energia do ciclo de vida total de um modelo. Apesar disso, estruturas regulatórias e práticas da indústria frequentemente priorizam as emissões de treinamento ou carecem de métricas padronizadas para a inferência, criando uma lacuna na compreensão do verdadeiro custo ambiental da implantação desses modelos em escala. O problema central abordado é se Modelos de Linguagem Pequenos (SLMs) ajustados (fine-tuned) podem servir como uma alternativa sustentável aos LLMs para tarefas específicas, oferecendo desempenho comparável com pegadas de carbono drasticamente reduzidas.

Metodologia

O estudo conduziu uma análise comparativa de SLMs ajustados contra LLMs de código aberto em seis tarefas categorizadas em Processamento de Linguagem Natural (NLP), Raciocínio e Programação.

• Seleção de Modelos:
  • SLMs: Três modelos foram ajustados para cada tarefa, limitados a um máximo de 250 milhões de parâmetros (ex: ELECTRA, DistilBERT, FLAN-T5, CodeT5).
  • LLMs: Comparados contra modelos de código aberto com mais de 1 bilhão de parâmetros, incluindo Qwen 3 (235B), Mistral Instruct (7B) e DeepSeek R1 (671B).
• Tarefas:
  • NLP: Análise de Sentimento (Binária) e Criação de Conteúdo (Escrita de Contos Curtos).
  • Raciocínio: Inferência de Linguagem Natural (NLI) e Raciocínio de Cadeia de Pensamento (CoT).
  • Programação: Sumarização de Código e Geração de Código.
• Cálculo de Emissões:
  • O estudo utilizou a biblioteca de código aberto eco2ai para rastrear as emissões de carbono com base no consumo de energia de CPU, GPU e RAM.
  • Como os dados públicos de inferência para LLMs específicos não estavam disponíveis, os autores derivaram estimativas escalonando a partir da taxa de emissão conhecida do GPT-3 (4,32 g de CO2 por consulta). Um ajuste linear foi aplicado com base nos parâmetros ativos ($P_{active}$) e contagens de tokens por tarefa.
  • A fórmula utilizada foi: $Carbon_{token} = K \times P_{active}$, onde $K$ é derivado dos dados do GPT-3, e $Carbon_{inference} = Carbon_{token} \times Tokens_{task}$.

Resultados Principais

A investigação empírica produziu resultados mistos quanto à paridade de desempenho, mas resultados consistentes quanto à redução de emissões.

Paridade de Desempenho

Os SLMs ajustados alcançaram desempenho comparável aos LLMs em quatro de seis tarefas:

1. Análise de Sentimento: SLMs (ex: DistilRoBERTa) alcançaram 96% de precisão, superando o Mistral-7B (68%) e igualando o DeepSeek R1 (84%), com diferenças de desempenho negligenciáveis entre os SLMs.
2. Criação de Conteúdo: SLMs ajustados (ex: DistilGPT2) mantiveram métricas de BERT Score F1 e Perplexidade comparáveis aos LLMs.
3. Inferência de Linguagem Natural (NLI): SLMs (FLAN-T5 Base, deBERTa v3) alcançaram precisões de ~88%, superando significativamente todos os LLMs testados (máximo 80%).
4. Sumarização de Código: SLMs (CodeParrot-Small, TinyCodeLM) superaram significativamente o Qwen3 e o DeepSeek R1 em pontuações BLEU e ROUGE-L.

Lacunas de Desempenho:
Os SLMs não conseguiram igualar os LLMs em duas tarefas:

1. Raciocínio de Cadeia de Pensamento (CoT): Os SLMs tiveram dificuldades com raciocínios complexos (pontuações G-Eval modificadas de 19–47 vs. 54–64 para LLMs), apoiando a literatura de que o raciocínio avançado emerge em modelos com dezenas de bilhões de parâmetros.
2. Geração de Código: Os SLMs alcançaram baixas pontuações pass@1 (máximo de 12,8%) em comparação aos LLMs (DeepSeek R1 com 65,9%), indicando que tarefas de geração complexas exigem escalas de modelo maiores.

Redução de Emissões

Em todas as tarefas, os SLMs ajustados demonstraram ordens de magnitude de redução nas emissões de inferência:

• Análise de Sentimento: SLMs emitiram entre 0,0001 g e 0,0696 g de CO2/consulta, comparado a 0,27 g – 1,37 g para LLMs.
• Criação de Conteúdo: SLMs emitiram 0,0063 g – 0,0105 g de CO2/consulta, versus 1,44 g – 7,31 g para LLMs.
• NLI: SLMs emitiram ~0,0015 g de CO2/consulta, comparado a 0,36 g – 1,83 g para LLMs.
• Sumarização de Código: SLMs emitiram 0,0055 g – 0,0973 g de CO2/consulta, versus 0,72 g – 3,66 g para LLMs.

O estudo observa que, para as quatro tarefas bem-sucedidas, as emissões foram reduzidas por fatores variando de 660x a 13.000x por consulta.

Significância e Alegações

O artigo posiciona estas descobertas como uma resolução para o "Dilema Energético dos LLMs", argumentando que a troca entre o tamanho do modelo e o impacto ambiental nem sempre é linear.

• Viabilidade dos SLMs: O estudo afirma que, para tarefas específicas e bem definidas (classificação de NLP, sumarização e geração básica de conteúdo), os SLMs ajustados (≤250M de parâmetros) são uma alternativa viável e sustentável aos enormes LLMs.
• Sinergia Econômica e Ambiental: Além dos benefícios ambientais, os autores argumentam que a mudança para SLMs para tarefas apropriadas reduz o Custo Total de Propriedade (TCO). Ao exigir hardware menos caro (menor CAPEX) e consumir menos energia durante a inferência contínua (menor OPEX), as organizações podem alcançar economias financeiras junto com a redução de carbono.
• Recomendações de Política: O artigo defende mudanças regulatórias, especificamente exigindo que os provedores de IA divulguem os custos de energia de inferência e realizem Avaliações de Impacto Sustentável para todos os sistemas de IA, não apenas durante o desenvolvimento.
• Escopo Modesto: Os autores mantêm-se modestos em suas alegações, reconhecendo que os SLMs ainda não podem substituir os LLMs para raciocínio complexo ou geração de código. Eles enfatizam que o "ponto ideal" (sweet spot) para o tamanho do modelo requer mais pesquisas e que seu estudo é limitado a modelos de código aberto e faixas de parâmetros específicas.

Em conclusão, o artigo afirma que um futuro de "IA Verde" é alcançável não abandonando totalmente os LLMs, mas sim implantando estrategicamente SLMs curados e específicos para tarefas onde eles oferecem paridade de desempenho, reduzindo drasticamente a pegada de carbono da implantação da IA.