More Accurate or More Efficient? Evaluating Locally Deployed Compact Open-Weight Language Models for Mathematical Reasoning
Este artigo introduz um framework de avaliação controlada para modelos de linguagem compactos de pesos abertos implantados localmente em raciocínio matemático, demonstrando que a precisão por si só é insuficiente para a seleção de modelos ao revelar compensações significativas onde o Gemma3:4b oferece uma eficiência energética superior, apesar da maior precisão do Qwen3:4b em conjuntos de dados específicos.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Nos últimos anos, os computadores aprenderam a ler e escrever com uma fluência que parece quase humana. Esses sistemas, conhecidos como modelos de linguagem de grande escala, podem resolver problemas, escrever histórias e responder perguntas ao prever a próxima palavra em uma frase com base em padrões que aprenderam a partir de vastas quantidades de texto. Por muito tempo, a única maneira de usar essas ferramentas poderosas era enviar uma pergunta pela internet para um enorme centro de servidores de propriedade de uma empresa de tecnologia. Mas uma nova tendência está mudando essa dinâmica. Pesquisadores e desenvolvedores agora são capazes de baixar versões menores desses modelos e executá-los diretamente em seus próprios computadores, de forma muito semelhante à instalação de um software padrão. Essa mudança oferece benefícios significativos: seus dados permanecem privados em sua máquina, você não precisa pagar por pergunta e pode usar a tecnologia mesmo sem conexão com a internet. No entanto, rodar esses programas localmente traz um novo conjunto de desafios. Quando um modelo roda em seu próprio hardware, ele consome eletricidade, gera calor e leva tempo para pensar. O fato de um modelo ser pequeno o suficiente para caber em um laptop não significa que ele seja eficiente o suficiente para ser prático para o uso diário.
Uma equipe de pesquisadores do Instituto de Tecnologia da Flórida partiu para entender as compensações do mundo real de rodar esses modelos locais. Eles queriam saber se o modelo mais preciso era também o mais eficiente, ou se escolher a melhor ferramenta para o trabalho exigia equilibrar velocidade, energia e correção. Para encontrar a resposta, eles se concentraram em um tipo específico de tarefa: o raciocínio matemático. Problemas matemáticos são ideais para esse tipo de teste porque possuem respostas claras e objetivas. Ao contrário de um comando de escrita criativa, onde a resposta "certa" é subjetiva, um problema matemático ou tem a solução correta ou não tem. Os pesquisadores selecionaram três modelos compactos, cada um contendo menos de cinco bilhões de parâmetros — uma medida do tamanho e da complexidade do modelo. Esses modelos, desenvolvidos pelo Google, Microsoft e Alibaba, foram escolhidos por serem pequenos o suficiente para serem executados em computadores de consumo padrão sem a necessidade de equipamentos especializados e caros.
A equipe desenhou um experimento rigoroso para garantir uma comparação justa. Eles reuniram três conjuntos distintos de problemas matemáticos, variando da aritmética do oitavo ano ao cálculo de nível universitário e estatística avançada. Em seguida, alimentaram cada um dos três modelos com essas mesmas perguntas, executando todos no mesmo computador com configurações idênticas. Crucialmente, eles não olharam apenas para saber se os modelos acertaram a resposta. Eles também mediram exatamente quanto tempo cada pergunta levou para ser resolvida, quantas palavras o modelo gerou para chegar lá e quanta energia elétrica a placa de vídeo do computador consumiu durante o processo. Eles construíram um sistema para verificar automaticamente as respostas finais, removendo textos ou formatações extras para ver se o número ou solução central correspondia ao resultado esperado. Isso permitiu que separassem erros genuínos de raciocínio de simples erros de formatação.
Os resultados revelaram uma desconexão surpreendente entre precisão e eficiência. Nenhum modelo único foi o melhor em tudo. Um modelo, desenvolvido pelo Alibaba, alcançou a maior precisão nos testes de matemática do oitavo ano e de estatística avançada. Outro modelo, do Google, teve o melhor desempenho nos problemas de cálculo. O terceiro modelo, da Microsoft, teve dificuldades significativas em todas as três categorias, acertando pouquíssimas respostas. No entanto, quando os pesquisadores observaram a eficiência energética, as classificações mudaram drasticamente. O modelo do Google foi o vencedor claro em termos de uso de energia. Para cada unidade de eletricidade que consumiu, produziu aproximadamente três vezes mais respostas corretas do que o modelo do Alibaba. O modelo do Alibaba, embora muitas vezes o mais preciso, exigiu significativamente mais tempo e energia para gerar suas respostas, produzindo muito mais texto do que o necessário para chegar à solução. O modelo da Microsoft, apesar de ser o menos intensivo em energia em alguns casos, era tão impreciso que seus ganhos de eficiência tornavam-se irrelevantes.
O estudo também destacou a importância de como esses modelos são configurados. O modelo do Alibaba possui um modo de "pensamento" onde ele faz uma pausa para raciocinar sobre um problema antes de responder. Os pesquisadores desativaram esse recurso para o teste para garantir uma comparação justa com os outros modelos, que não possuem a mesma capacidade. Eles observaram que essa escolha poderia ter reduzido a precisão do modelo do Alibaba em comparação com seu desempenho com o pensamento ativado, mas era necessário para manter as condições do teste consistentes. Além disso, os pesquisadores descobriram que o baixo desempenho do modelo da Microsoft não se deveu ao computador falhar ao ler as respostas. O sistema extraiu com sucesso as respostas de quase todas as respostas, o que significa que os resultados ruins foram causados pelo modelo fornecer soluções incorretas, e não por uma falha no processo de teste.
Em última análise, a pesquisa demonstra que, para qualquer pessoa que pretenda rodar esses modelos em seu próprio hardware, a precisão não é a única métrica que importa. Um modelo que é ligeiramente menos preciso, mas usa uma fração da energia e do tempo, pode ser a melhor escolha para um estudante ou uma pequena equipe com recursos computacionais limitados. As descobertas sugerem que não existe um único "melhor" modelo para uso local. Em vez disso, a escolha certa depende inteiramente da tarefa específica e das restrições do hardware do usuário. Se o objetivo for resolver problemas complexos de cálculo com a maior precisão possível, um modelo pode ser preferível. Se o objetivo for processar centenas de perguntas rapidamente enquanto conserva a bateria ou a eletricidade, um modelo diferente torna-se a escolha lógica. Este estudo fornece um método claro e documentado para tomar essas decisões, indo além das simples pontuações de precisão para uma compreensão mais prática de como essas ferramentas performam no mundo real.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.