React-ing to Grace Hopper 200: Five Open-Weights Coding Models, One React Native App, One GH200, One Weekend
Este artigo avalia cinco modelos de linguagem de código open-weight em uma tarefa de geração de aplicativo React Native em hardware GH200, descobrindo que rankings do SWE-Bench não preveem o desempenho real, que a quantização agressiva do Kimi-K2.5 superou modelos maiores, e documentando desafios específicos de implantação como vazamento de traces de raciocínio e lacunas na adaptação para plataformas web.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você é um chef de cozinha famoso e, em vez de cozinhar para um restaurante, você está testando cinco robôs cozinheiros diferentes. O desafio é simples: "Crie um aplicativo de celular que permita aos usuários fazer login, contar quantos cangurus viram por dia e garantir que funcione também no computador".
Você tem um dia de fim de semana, uma super-fogão de última geração (um chip NVIDIA GH200) e cinco receitas de robôs (modelos de IA) para testar. O objetivo não é ver qual robô é o mais famoso ou tem o melhor currículo, mas sim qual deles realmente entrega o prato pronto e comestível.
Aqui está o resumo do que aconteceu, traduzido para uma linguagem simples:
1. O Grande Engano: O "Ranking" não diz tudo
Na comunidade de tecnologia, existe uma competição famosa chamada SWE-Bench. É como um ranking de "Melhor Aluno da Turma" baseado em testes de matemática e lógica.
- A Expectativa: Os robôs que estavam no topo desse ranking (como o GLM-5.1 e o DeepSeek) deveriam ser os melhores.
- A Realidade: Eles falharam feio no teste prático. O GLM-5.1, que era o "campeão" do ranking, criou um aplicativo que exigia que você configurasse uma conta bancária complexa (Firebase) só para logar, quando o pedido era algo simples. O DeepSeek cometeu um erro de digitação tão estranho que o aplicativo nem conseguiu ser instalado.
- O Vencedor Surpreendente: O robô Kimi-K2.5, que estava em uma versão "comprimida" (3 bits) para caber na memória, foi o único que entregou o aplicativo completo, funcionando e pronto para uso. Ele provou que, às vezes, o aluno que tira nota 10 na prova teórica não é o melhor no trabalho real.
2. As Três Armadilhas Escondidas (Onde os Robôs Tropeçaram)
Durante o fim de semana, os pesquisadores descobriram três problemas que ninguém tinha previsto:
O Robô que ficou "Travado no Pensamento":
Alguns robôs são "pensadores" (eles falam consigo mesmos antes de agir). O software que os controlava estava configurado para ser super-rápido e determinístico (temperatura 0). Para esses robôs pensadores, isso foi como tentar fazer um atleta de elite correr em uma esteira que não se move. Eles ficaram girando em círculos, "pensando" sem nunca gerar o código.- Solução: Ajustar o "botão de temperatura" para deixá-los mais criativos e soltos.
O Robô que Confundiu a Pasta de Arquivos:
O robô DeepSeek começou a resposta com uma frase de pensamento: "Vamos começar com App.js:". O software de controle leu isso literalmente e salvou o arquivo com o nome completo da frase, incluindo os dois pontos e o texto. O aplicativo tentou abrir um arquivo que não existia e quebrou.- Analogia: É como se você pedisse para um carteiro entregar uma carta em "Rua das Flores", e ele entregasse em "Rua das Flores: Olá, aqui está sua carta".
O Robô que Esqueceu que Celular e Computador são Diferentes:
Todos os robôs usaram um botão de alerta que funciona no celular, mas que não faz nada no navegador de internet (web). O pedido era para o app funcionar na web, mas eles ignoraram essa parte.- Resultado: O usuário clicava em "Salvar" ou "Confirmar" e nada acontecia. O robô não sabia que a regra do jogo mudou quando saiu do celular para o computador.
3. O Dilema do Hardware: O "Caminhão" vs. O "Carro Esportivo"
O estudo também comparou o custo e o tamanho dos robôs:
- A Escola do Tamanho (Scale School): Robôs gigantes que exigem servidores caríssimos (como o chip de 576 GB usado no teste). Eles são poderosos, mas caros e difíceis de rodar em casa.
- A Escola da Eficiência (Efficiency School): Robôs menores e mais inteligentes, que cabem em computadores comuns (como um Mac Studio).
- A Conclusão: Para quem quer rodar isso em casa ou em empresas menores, os robôs menores (como o MiniMax) entregam resultados quase iguais aos gigantes, mas custam 7 vezes menos em hardware. É como descobrir que um carro esportivo pequeno é mais rápido e econômico para ir ao trabalho do que um caminhão de carga, mesmo que o caminhão seja mais famoso.
Resumo Final: O Que Aprendemos?
Se você é uma empresa ou um desenvolvedor querendo usar IA para criar software em 2026:
- Não confie cegamente nos rankings: O modelo com a maior pontuação em testes teóricos pode falhar miseravelmente em tarefas práticas.
- Teste antes de comprar: Antes de gastar dinheiro em hardware caro, faça um teste prático com a tarefa real que você precisa resolver.
- Atenção aos detalhes: Às vezes, o problema não é a inteligência do robô, mas como ele foi configurado (temperatura, formatação de texto) ou se ele entende as diferenças entre plataformas (celular vs. web).
O vencedor não foi o robô mais "inteligente" no papel, mas o que foi mais cuidadoso em ler as instruções e adaptar-se ao ambiente.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.