O Dilema do Detetive: Quando Ver Não é o Suficiente

Imagine que você é um detetive tentando resolver um mistério, mas em vez de procurar pistas, você está encarando uma única fotografia de alta resolução. No mundo da inteligência artificial, é isso que os "modelos multimodais" fazem: eles olham para imagens e tentam responder perguntas sobre elas. Por muito tempo, esses detetives de IA melhoraram ao aprender a usar "ferramentas". Se uma pista é pequena demais para ser vista, eles aprendem a dar zoom. Se um texto está borrado, eles aprendem a iluminar a imagem. Isso é chamado de "pensar com imagens". É como dar ao detetive uma lupa e uma lanterna.

No entanto, há um porém. Alguns mistérios não são resolvidos apenas olhando com mais atenção. Imagine um quebra-cabeça onde você tem que contar exatamente quantos pixels existem em um padrão específico, ou descobrir o ângulo preciso pelo qual um anel oculto foi rotacionado. Nenhuma quantidade de zoom ou brilho ajudará você a "ver" a resposta com seus olhos. Você tem que calcular. É aqui que a antiga forma de pensar atinge um muro. A IA pode descrever as etapas para resolver o quebra-cabeça em palavras, mas as palavras não podem fazer matemática em uma imagem. Este artigo entra nesse hiato, fazendo uma pergunta simples, mas profunda: E se a IA não apenas descrevesse a solução, mas realmente escrevesse um programa de computador para executar a solução?

A Grande Ideia do Artigo: Codificar como Pensar

Este artigo apresenta uma nova maneira para a IA resolver quebra-cabeças visuais chamada Code-with-Image. Em vez de pedir à IA para apenas "olhar" para uma imagem e adivinhar a resposta, ou usar uma lista pré-definida de ferramentas como "cortar" ou "rotacionar", os pesquisadores dão à IA uma tela em branco e um interpretador Python (uma ferramenta que executa código de computador). O trabalho da IA é escrever um programa que manipula os pixels da imagem diretamente para encontrar a resposta.

Pense nisso desta forma: No método antigo, se você perguntasse a uma IA, "Quantos pontos vermelhos existem nesta foto?", ela poderia tentar descrever os pontos ou usar uma ferramenta para destacá-los. No Code-with-Image, a IA tem que escrever um script que diga: "Percorra cada pixel, verifique se ele é vermelho, conte-o e imprima o total". O programa é o raciocínio. Se o código estiver correto, a resposta estará correta. Se o código estiver errado, a resposta estará errada. Isso desloca o desafio de "ver" a resposta para "construir" a resposta.

O Problema: A IA Pode Descrever, Mas Não Consegue Fazer

Os pesquisadores descobriram que mesmo os modelos de IA mais inteligentes têm dificuldades com isso. Eles testaram um benchmark massivo chamado CwI-Bench (Code-with-Image Bench), que contém 30 tipos diferentes de quebra-cabeças visuais. Esses quebra-cabeças são projetados de modo que você não pode apenas "olhá-los" para obter a resposta; você tem que fazer um cálculo de várias etapas nos pixels.

Quando a IA tentou resolver esses quebra-cabeças usando apenas palavras (mesmo com seu modo de "pensamento" ativado), ela falhou miseravelmente. Por exemplo, o modelo de alto nível, GPT-5.6-luna, acertou menos de 30% das respostas. Ela conseguia descrever as etapas perfeitamente ("Preciso rotacionar a imagem e contar os pixels"), mas não conseguia realmente fazer a matemática. Era como um chef que consegue descrever uma receita em detalhes perfeitos, mas não consegue realmente cozinhar a refeição.

No entanto, quando os pesquisadores deram à IA um interpretador Python e disseram para ela escrever um código para resolver o problema, as pontuações saltaram. A precisão do GPT-5.6-luna subiu para 43%. O modelo de código aberto Qwen3.5-27B foi de 12,6% para 32,6%. O código permitiu que a IA realmente processasse os dados da imagem, transformando um jogo de adivinhação em um cálculo.

O Ingrediente Secreto: Ensinar a Si Mesma a Depurar

Mas aqui está o detalhe: mesmo com a capacidade de escrever código, a IA ainda cometia erros. Ela escrevia um programa que parecia correto, mas tinha um erro pequeno e invisível — como contar um pixel extra ou usar o número errado para uma rotação. A IA executava o código, obtinha a resposta errada e então apenas tentava escrever um novo programa, frequentemente cometendo o mesmo erro novamente.

Para corrigir isso, os autores criaram um loop de "autoevolução" chamado Self-Reflection over Execable Reasoning (Autorreflexão sobre Raciocínio Executável). Esta é a parte mais lúdica da história. Imagine que a IA é um aluno fazendo uma prova. Quando ela erra uma questão, em vez de apenas seguir em frente, ela é forçada a:

1. Olhar para sua prova falha: Ler o código que escreveu e a resposta errada que obteve.
2. Executar uma simulação: Rodar o código novamente em um "sandbox" seguro para ver exatamente onde ele quebrou.
3. Corrigir o bug: Editar o código para corrigir o erro.
4. Salvar a lição: Se a correção funcionar, ela salva o código corrigido como uma "habilidade" (um pedaço de texto) em uma biblioteca.

Isso acontece sem que a IA precise ser retreinada ou ter seu cérebro reconfigurado. Ela apenas aprende com suas próprias falhas. O artigo mostra que esse loop de "autoensino" é incrivelmente poderoso.

• Para o modelo GPT-5.6-luna, o uso dessas habilidades autoevoluídas aumentou sua precisão de 43% para 67%.
• Para o modelo Qwen3.5-27B, saltou de 32,6% para 55,9%.

Por Que Isso Importa: Habilidades que Você Pode Copiar e Colar

Uma das descobertas mais interessantes é que essas "habilidades" são apenas texto puro. Elas não estão presas dentro do cérebro da IA. Os pesquisadores mostraram que podiam pegar as habilidades aprendidas por um modelo grande e poderoso (como o modelo de 27 bilhões de parâmetros) e colá-las em um modelo muito menor e mais fraco (um de 9 bilhões de parâmetros).

O modelo menor, que não conseguia resolver os problemas por conta própria, de repente ficou muito melhor apenas lendo o "guia de referência" escrito pelo modelo maior.

• O modelo 9B passou de 11,1% de precisão para 34,5% apenas usando as habilidades evoluídas pelo 27B.
• Surpreendentemente, essas habilidades funcionaram em diferentes tipos de modelos de IA. Uma habilidade aprendida por uma família de modelos ajudou uma família de modelos completamente diferente a melhorar.

O Que Este Artigo Descarta

O artigo é muito claro sobre o que não funciona. Ele argumenta que simplesmente dar a uma IA uma lista de ferramentas (como "zoom", "cortar" ou "pesquisar") não é suficiente para esses tipos específicos de problemas. A IA precisa escrever seu próprio algoritmo do zero. Ele também mostra que apenas "pensar" mais intensamente em palavras não ajuda; o gargalo não é a falta de ideias, mas a falta de execução. A IA pode descrever o algoritmo, mas sem executar o código, ela não consegue resolver o quebra-cabeça.

A Conclusão

Este artigo sugere que, para problemas visuais que exigem cálculos precisos, a melhor maneira de uma IA pensar é escrever código. Mas a verdadeira inovação é que esses modelos de IA podem ensinar a si mesmos a melhorar a escrita desse código ao depurar seus próprios erros. Eles não precisam de um professor humano para corrigir seu código; eles só precisam de um sandbox para rodá-lo, um espelho para ver onde falharam e um pouco de paciência para tentar novamente.

Os resultados são mensurados e específicos: em um benchmark de 30 famílias de tarefas, as habilidades autoevoluídas elevaram o desempenho dos principais modelos do patamar dos 40 baixos para os 60 altos (porcentagem de precisão). Embora o artigo não afirme que isso resolve todos os problemas visuais, ele prova que para tarefas onde a resposta reside na matemática dos pixels e não na inspeção ocular, codificar é a chave, e a autorreflexão é a chave mestra.