Resumo Técnico: O Custo Ambiental de LLMs em AIED: Relatórios e Práticas

Declaração do Problema

A integração de Grandes Modelos de Linguagem (LLMs) na Inteligência Artificial na Educação (AIED) acelerou, mas os custos computacionais e ambientais associados ao seu uso permanecem amplamente não relatados e não padronizados. Enquanto as discussões éticas em AIED abordam frequentemente o viés, a privacidade e a dependência excessiva dos alunos, o consumo de energia e a pegada de carbono do treinamento e da implementação de LLMs são frequentemente ignorados. Essa falta de transparência é exacerbada pela ausência de procedimentos padronizados para medir e relatar esses impactos. Consequentemente, a comunidade carece de uma compreensão unificada do fardo ambiental da IA educacional, tornando difícil comparar a eficiência de diferentes sistemas ou estabelecer normas para a pesquisa sustentável.

Metodologia

Os autores empregaram uma abordagem de métodos mistos combinando uma revisão sistemática da literatura com o desenvolvimento de frameworks técnicos de código aberto para medição e estimativa.

1. Revisão da Literatura

Os autores realizaram uma revisão abrangente de todos os 396 artigos publicados nos anais da conferência AIED 2025. Eles analisaram as submissões em todas as trilhas (artigos completos, workshops, doutorado, etc.) usando um framework de codificação para extrair:

• Uso de LLM: Se um LLM foi utilizado (binário) e o papel específico (Objeto de Experimento, Análise de Dados, Design de Produto ou Interação do Usuário).
• Práticas de Relato: Se os custos computacionais (tempo de execução, energia, hardware) e a sustentabilidade ambiental foram explicitamente relatados.
• Detalhes do Modelo: Versões específicas do modelo e informações de parâmetros.

2. Desenvolvimento de Frameworks de Medição

Para abordar as lacunas identificadas, os autores propuseram e implementaram três soluções técnicas:

• Medição de Hardware Local (CodeCarbon): Os autores utilizaram o pacote Python de código aberto CodeCarbon para estimar as emissões de carbono medindo o consumo de energia do hardware local e convertendo-o em CO2 com base nas misturas de redes elétricas locais. Eles observaram que, embora o CodeCarbon forneça uma linha de base, ele frequentemente subestima o consumo total em cerca de 20%, pois não contabiliza as ineficiências da fonte de alimentação ou o resfriamento periférico.
• O Framework TerraFlops: Para melhorar a precisão em ambientes de desenvolvimento local, os autores introduziram o TerraFlops, um wrapper de código aberto para ferramentas de rastreamento. Este framework introduz uma métrica equivalente ao PUE (Efetividade do Uso da Energia) para máquinas locais. Diferente dos data centers com alta utilização, dispositivos locais possuem um overhead de base significativo (SO, monitor, resfriamento) independentemente da carga de trabalho de ML. O TerraFlops ajusta dinamicamente o PUE equivalente (variando de 1,60 para baixa carga a 1,08 para alta carga) para contabilizar essa energia desperdiçada.
  • O framework também inclui um Modo Nuvem que aplica valores de PUE fixos baseados nos principais provedores (AWS, GCP) para padronizar as projeções de custo de implantação.
  • Ele gera métricas compostas: Intensidade de Carbono Corrigida, Carbono por Precisão e um Score de Sustentabilidade (escala de 1 a 10 usando transformação logarítmica).
• Estimativa Teórica de FLOPs para LLMs: Para cenários onde a medição direta é impossível (ex: modelos proprietários via API), os autores propuseram um método para estimar o custo computacional usando Operações de Ponto Flutuante (FLOPs).
  • Eles derivaram fórmulas para transformadores apenas decodificadores (incluindo Pre-Layer Normalization, RoPE e KV caching) para calcular FL $\text{OPs}$ para o primeiro token e para os tokens subsequentes.
  • Propuseram uma aproximação simplificada: $FLOPs = 2Nn$ (onde $N$ é o número de parâmetros ativos e $n$ é o total de tokens).
  • Para modelos proprietários onde $N$ é desconhecido, sugeriram estimativas de ordem de magnitude (ex: ~100B de parâmetros para modelos de fronteira, ~30B para modelos rápidos) e um fator de conversão para CO2 (aprox. $6 \times 10^{-5}$ gramas de CO2 por T-FLOP, assumindo GPUs H100 e a rede elétrica dos EUA).

Principais Resultados

A revisão da literatura dos 396 artigos da AIED 2025 rendeu os seguintes achados:

• Alta Adoção: 257 artigos (65%) utilizaram LLMs.
• Padrões de Uso: O caso de uso mais comum foi Interação do Usuário (176 artigos), primariamente como tutores ou assistentes. Outros usos incluíram Análise de Dados (79), Design de Conteúdo (108) e Objeto de Experimento (100).
• Déficit de Relato: Apenas 85 artigos forneceram quaisquer detalhes sobre custos computacionais, e apenas 57 artigos mencionaram sustentabilidade ou questões ambientais.
• Inconsistência: Entre aqueles que relataram, não houve padronização em métricas, unidades ou profundidade de análise.
• Prevalência de Modelos: Os modelos da OpenAI (GPT-4/4o) foram os mais citados, seguidos pelo Anthropic Claude, Google Gemini e vários modelos de código aberto (Llama, Mistral, etc.).

Principais Contribuições

1. Evidência Empírica da Lacuna: O artigo fornece a primeira quantificação sistemática da falta de relato ambiental na comunidade AIED, demonstrando que, embora o uso de LLM seja ubíquo, seu custo é invisível na vasta maioria das pesquisas.
2. Ferramenta TerraFlops: A introdução de uma ferramenta de código aberto que estende o rastreamento de carbono para incluir ajustes de PUE equivalente para hardware local, oferecendo uma estimativa mais realista da pegada ambiental de pesquisas realizadas em máquinas de nível de consumidor.
3. Propostas de Relato Padronizado: Os autores propõem um conjunto de métricas compostas (Intensidade de Carbono Corrigida, Carbono por Precisão, Score de Sustentabilidade) para serem relatadas junto com as métricas tradicionais de precisão.
4. Metodologia de Estimativa para Modelos Proprietários: Um procedimento prático de três etapas para pesquisadores que utilizam LLMs baseados em API para estimar seu custo computacional e pegada de carbono sem acesso aos dados internos de hardware, utilizando contagem de tokens e aproximações de parâmetros.

Significância e Alegações

Os autores argumentam que o custo ambiental dos LLMs em AIED é uma dimensão ética crítica, porém negligenciada. Eles afirmam que, ao tornar esses custos visíveis através de relatos padronizados, a comunidade pode:

• Estabelecer normas para o relato transparente de custos ocultos.
• Permitir a comparação de modelos com base na eficiência (performance por unidade de CO2) em vez de apenas na precisão.
• Motivar pesquisadores a otimizar para a sustentabilidade, potencialmente reduzindo o impacto ambiental da IA educacional.

O artigo conclui com um chamado à ação para que a comunidade AIED adote essas práticas de relato, sugerindo que futuras conferências poderiam exigir métricas de sustentabilidade como condição para submissão, de forma semelhante aos requisitos de anonimato. Os autores posicionam seu trabalho não como uma solução definitiva, mas como um passo fundamental em direção a um ecossistema de pesquisa em AIED mais sustentável e responsável.