FLOPs vs Real Work: The Importance of Replication in AI Efficiency Assessment

No mundo em rápida expansão da inteligência artificial, onde programas de computador estão aprendendo a escrever, criar arte e resolver problemas complexos, uma questão silenciosa, mas crítica, surgiu: quanto trabalho está sendo realmente realizado? Durante anos, pesquisadores e engenheiros confiaram em uma forma padrão de medir o esforço exigido por esses cérebros digitais. Eles contam o número de cálculos matemáticos básicos, especificamente operações de ponto flutuante, que um modelo deve realizar para chegar a uma conclusão. É um pouco como contar o número de tijolos em uma parede para adivinhar quanto tempo levará para construí-la. A lógica parece sólida: mais cálculos devem significar mais tempo e mais energia. Essa métrica tornou-se a linguagem universal para comparar diferentes modelos de IA, ajudando desenvolvedores a decidir quais designs são eficientes e quais são desperdiçadores. No entanto, essa contagem simples assume que cada cálculo leva a mesma quantidade de tempo e energia, independentemente de como é organizado ou de que tipo de computador esteja realizando o trabalho.

Essa suposição foi posta sob escrutínio à medida que os modelos de IA cresceram para escalas massivas, consumindo quantidades vastas de eletricidade e sobrecarregando as redes elétricas. Se o método de contagem padrão é falho, isso pode levar a erros graves de cálculo sobre o custo ambiental e a velocidade da próxima geração de sistemas inteligentes. Um estudo recente propôs-se a testar se esse método tradicional de contagem ainda se sustenta em chips de computador modernos e poderosos. Os pesquisadores queriam ver se a relação entre o número de operações matemáticas e o tempo real que leva para executá-las permanece direta, ou se a realidade é muito mais complicada. Eles focaram em um tipo específico de arquitetura de IA conhecido como rede neural convolucional, amplamente utilizada para tarefas como reconhecimento de imagens e compreensão de vídeo. Ao executar milhares de experimentos em uma placa de vídeo de última geração, eles buscaram verificar se uma correção matemática proposta poderia prever com precisão quanto tempo esses modelos levariam para rodar, ou se o novo hardware havia introduzido complexidades ocultas que as fórmulas antigas não conseguiam enxergar.

A equipe começou revisitando um estudo anterior que sugerira que a contagem bruta de operações matemáticas não era um preditor confiável de tempo de execução. Esse trabalho anterior mostrou que onde os cálculos acontecem importa tanto quanto quantos eles são. Imagine uma linha de montagem de uma fábrica: mover itens ao longo de uma esteira larga é frequentemente mais rápido e fácil de gerenciar do que tentar espremer o mesmo número de itens através de um túnel estreito e sinuoso, mesmo que o número total de itens seja idêntico. No mundo da IA, cálculos organizados em dimensões espaciais, como a largura e a altura de uma imagem, podem ser processados em paralelo com muito mais facilidade do que cálculos organizados em camadas mais profundas e complexas. Os pesquisadores anteriores desenvolveram uma fórmula para ajustar a contagem bruta com base nessas dimensões, esperando criar uma ferramenta que pudesse estimar com precisão quanto tempo um modelo levaria para rodar em um hardware específico.

Para testar se essa fórmula ainda funcionava, os pesquisadores da Universidade Tecnológica de Delft estabeleceram uma replicação rigorosa dos experimentos originais. Eles usaram uma placa de vídeo moderna, a NVIDIA RTX 4090, que é significativamente mais poderosa do que o equipamento usado no estudo original. O objetivo deles era ver se os mesmos padrões se mantinham verdadeiros e se a fórmula ainda poderia fornecer previsões precisas. No entanto, eles imediatamente encontraram um obstáculo significativo: o estudo original não forneceu o código completo ou as instruções detalhadas necessárias para reproduzir o trabalho exatamente. Os pesquisadores sentiam falta de detalhes específicos sobre as bibliotecas de software e drivers usados, e não possuíam os dados brutos que os autores originais usaram para construir sua fórmula. Essa falta de transparência forçou a equipe a fazer suposições educadas sobre como configurar seus experimentos, introduzindo uma camada de incerteza em seus resultados.

Apesar desses desafios, a equipe prosseguiu com suas medições, executando milhares de configurações diferentes para ver quanto tempo cada uma levava. Eles confirmaram a primeira grande descoberta: a contagem bruta de operações matemáticas é, de fato, um péssimo preditor de quanto tempo um modelo levará para rodar. Mesmo quando duas configurações exigiam exatamente o mesmo número de cálculos, seus tempos de execução variavam drasticamente dependendo de como esses cálculos estavam organizados. Os pesquisadores descobriram que operações espalhadas pela largura e altura de uma imagem ainda eram processadas muito mais rápido do que aquelas compactadas em camadas mais profundas, confirmando que o layout físico dos dados importa mais do que o volume total de trabalho.

No entanto, quando tentaram aplicar a fórmula proposta ao seu novo hardware mais rápido, os resultados foram muito menos encorajadores. A fórmula, que funcionara razoavelmente bem em equipamentos mais antigos, subestimou consistentemente o tempo necessário para a placa de vídeo moderna completar as tarefas. Em muitos casos, o tempo real levado foi significativamente maior do que a fórmula previa. Mais surpreendentemente, os pesquisadores descobriram que o tempo de execução não apresentava um aumento suave e constante conforme a carga de trabalho crescia. Em vez disso, o tempo saltava e oscilava de formas imprevisíveis. Quando aumentavam o tamanho dos dados de entrada em quantidades ínfimas, o tempo para processá-los subitamente disparava ou caía, criando um padrão irregular e serrilhado, em vez de uma linha reta. Esses saltos apareciam em números específicos, frequentemente relacionados a múltiplos de quatro ou outros números inteiros pequenos, sugerindo que a arquitetura interna do chip moderno estava reagindo aos dados de maneiras complexas e não lineares que a fórmula simples não conseguia capturar.

O estudo revelou que a relação entre o número de cálculos e o tempo que eles levam para serem realizados é muito mais frágil e dependente do hardware do que se pensava anteriormente. A fórmula falhou ao não contabilizar o impacto dos canais de entrada e saída, que desempenharam um papel muito maior no tempo de execução no novo hardware do que desempenharam nos sistemas mais antigos. Além disso, os pesquisadores observaram que as otimizações do chip moderno, como seu grande cache de memória e unidades de processamento especializadas, introduziram novos comportamentos que causaram esses saltos repentinos no tempo. Esses comportamentos estavam ocultos no estudo original porque este utilizava uma resolução menor de pontos de dados, amostrando apenas alguns valores em vez de testar todas as variações possíveis. Quando a equipe testou cada valor individualmente, a instabilidade oculta do sistema foi revelada.

Os pesquisadores concluíram que, embora a ideia geral de que arranjos espaciais são mais eficientes do que os profundos ainda se mantenha verdadeira, a ferramenta matemática específica projetada para prever o tempo de execução não é mais confiável em hardware moderno. A incapacidade da fórmula de se adaptar à rápida evolução dos chips de computador significa que ela não pode ser usada como um padrão universal para estimar o consumo de energia ou a velocidade. O estudo também destacou uma questão crítica na pesquisa científica: a falta de pacotes de replicação completos e precisos. Sem o código original, versões específicas de software e dados brutos, é difícil saber exatamente por que a fórmula falhou. Permanece incerto se a falha foi devida ao próprio hardware ou às suposições que os pesquisadores tiveram que fazer devido à falta de informações.

Em última análise, este trabalho serve como um lembrete de que, no campo de rápida movimentação da inteligência artificial, métricas simples podem ser enganosas. A eficiência de um modelo de IA não é apenas uma questão de contar operações; é uma interação complexa entre o design do modelo, o hardware específico em que ele roda e o software que gerencia o processo. Os pesquisadores disponibilizaram seu próprio conjunto completo de dados e código para o público, esperando que essa transparência permita que outros construam melhores ferramentas para o futuro. Suas descobertas sugerem que, à medida que a IA continua a crescer, devemos ir além das contagens simples e desenvolver uma compreensão mais profunda e matizada de como esses sistemas digitais realmente funcionam no mundo real.