🤖 AI

GRIT: Teaching MLLMs to Think with Images

O artigo propõe o GRIT, um método baseado em aprendizado por reforço que permite que Modelos de Linguagem Grandes Multimodais gerem cadeias de raciocínio fundamentadas visualmente, intercalando linguagem natural com coordenadas explícitas de caixas delimitadoras, alcançando alta eficiência de dados sem exigir rótulos de raciocínio ou localização anotados.

Autores originais: Yue Fan, Xuehai He, Diji Yang, Kaizhi Zheng, Ching-Chen Kuo, Yuting Zheng, Sravana Jyothi Narayanaraju, Xinze Guan, Xin Eric Wang

Publicado 2026-05-12

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yue Fan, Xuehai He, Diji Yang, Kaizhi Zheng, Ching-Chen Kuo, Yuting Zheng, Sravana Jyothi Narayanaraju, Xinze Guan, Xin Eric Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô muito inteligente a resolver um quebra-cabeça. Geralmente, quando você faz uma pergunta a esse robô sobre uma imagem, ele tenta responder apenas falando. Ele pode dizer: "Vejo um pássaro", mas na verdade não aponta para o pássaro. É como tentar descrever uma localização em um quarto escuro usando apenas palavras, esperando que você adivinhe onde está olhando.

O artigo "GRIT: Teaching MLLMs to Think with Images" introduz uma nova maneira de ensinar esses robôs (chamados Modelos de Linguagem Grandes Multimodais, ou MLLMs) a pensar de forma diferente. Aqui está a explicação usando analogias simples:

1. O Problema: O Pensador "Cego"

Os modelos de IA atuais são ótimos em falar, mas quando olham para uma imagem, muitas vezes "pensam" em texto puro. Eles podem acertar a resposta, mas não conseguem mostrar onde olharam para encontrá-la. É como um detetive resolvendo um crime adivinhando o nome do culpado sem nunca mostrar as evidências ou apontar para a impressão digital. Isso torna o raciocínio deles difícil de confiar e, às vezes, impreciso.

2. A Solução: O Hábito do "Apontador" (GRIT)

Os autores criaram um método chamado GRIT (Grounded Reasoning with Images and Text). Em vez de apenas falar, eles ensinam a IA a apontar enquanto pensa.

A Analogia: Imagine que a IA é um professor explicando um mapa para um aluno. Em vez de apenas dizer: "O tesouro está ali", o professor desenha um quadrado ao redor do local no mapa e diz: "Estou olhando aqui [desenha o quadrado], e vejo uma pedra, então o tesouro deve estar ao lado dela."
Como funciona: A IA gera uma cadeia de pensamentos que mistura frases normais com caixas delimitadoras (coordenadas que desenham um retângulo ao redor de uma parte específica da imagem). Ela literalmente aponta para as partes da imagem que está usando para resolver o problema.

3. O Segredo: Aprendendo por Tentativa e Erro (GRPO-GR)

Normalmente, para ensinar uma IA a fazer algo tão complexo, você precisa de milhares de exemplos onde humanos escreveram cada passo e desenharam cada caixa. É como contratar uma equipe de professores para escrever um livro didático para o robô.

O artigo afirma uma descoberta: o GRIT precisa de quase nenhum exemplo.

A Analogia: Em vez de ler um livro didático, a IA aprende como uma criança jogando um videogame. Você dá a ela uma imagem e uma pergunta. Ela tenta responder. Se acertar a resposta final e seguir as regras (como desenhar uma caixa), ela ganha uma "pontuação alta" (recompensa). Se falhar, recebe uma pontuação baixa.
A Magia: Os pesquisadores usaram apenas 20 exemplos (como 20 perguntas de prática) para treinar a IA. A IA descobriu o padrão: "Para obter uma pontuação alta, preciso apontar para a imagem enquanto falo". Eles chamam isso de GRPO-GR, um método de treinamento especial que recompensa a IA por acertar a resposta e por usar o formato correto de "apontar".

4. Os Resultados: Mais Inteligente e Mais Honesto

Quando testaram esses robôs treinados:

Eles ficaram melhores em matemática e contagem: Se você perguntasse: "Quantos ovos há no ninho?", o robô não apenas adivinhava um número. Ele apontava para os ovos, contava-os um por um em seus "pensamentos" e, em seguida, dava a resposta.
Eles unificaram duas habilidades: Antes, a IA era boa em falar (raciocínio) OU boa em apontar (fundamentação), mas não ambas ao mesmo tempo. O GRIT ensinou-as a fazer ambas simultaneamente.
Eles são mais confiáveis: Como a IA precisa apontar para a evidência, é mais difícil para ela inventar mentiras. Se ela aponta para um local e diz "Vejo um gato", mas não há nenhum gato ali, o sistema sabe que algo está errado.

5. O Que Eles Encontraram (e o Que Não Encontraram)

Eficiência de Dados: Eles provaram que você não precisa de uma biblioteca massiva de dados. Apenas 20 exemplos foram suficientes para ensinar ao robô esse novo hábito de "apontar".
Atenção: Quando a IA aponta para um local (desenha uma caixa), ela realmente presta mais atenção a essa parte da imagem em seu próximo pensamento. É como o ato de apontar ajudar o robô a focar seus olhos.
Limites: O artigo observa que, embora adicionar mais dados ajude, há um ponto de retornos decrescentes. Para ficar ainda melhor em coisas que o robô não viu antes, eles precisam de mais variedade nos dados, não apenas mais do mesmo.

Em Resumo:
O GRIT é um novo método de treinamento que ensina robôs de IA a "pensar com os olhos" forçando-os a apontar para a imagem enquanto falam. É um grande salto porque ensina essa habilidade complexa com quase nenhum dado (apenas 20 exemplos) e torna o raciocínio da IA transparente e confiável.

, ...`) e a validade sintática das caixas delimitadoras (detectada via regex). Esta recompensa não restringe a precisão semântica do texto ou das regiões específicas, apenas o formato.
2. Recompensa de Contagem de Alvos Fundamentados ( $r_{count}$ ): Uma recompensa opcional para tarefas de contagem, onde o número de caixas delimitadoras geradas deve corresponder à contagem de referência (ground-truth).
3. Recompensa de Precisão da Resposta Assistida por GPT ( $r_{ans}$ ): Utiliza um MVL externo (GPT-4o) para julgar a correção da resposta final, complementada por uma pontuação BLEU.

Vantagem Chave: Como as recompensas focam no formato e na precisão da resposta final, em vez de etapas intermediárias de raciocínio ou localizações específicas de caixas delimitadoras, o GRIT elimina a necessidade de dados de treinamento com anotações de cadeia de raciocínio ou rótulos explícitos de caixas delimitadoras.

Contribuições Principais

Framework GRIT: Um método inovador que permite aos MVLs "pensar com imagens" gerando cadeias de raciocínio que intercalam linguagem natural com coordenadas explícitas de caixas delimitadoras, unificando capacidades de fundamentação e raciocínio.
Algoritmo GRPO-GR: Um algoritmo de aprendizado por reforço que treina MVLs de forma eficiente utilizando apenas tripletas imagem-pergunta-resposta. Ele utiliza recompensas inovadoras de formato e precisão, removendo a dependência de anotações densas e caras para raciocínio intermediário ou fundamentação.
Eficiência de Dados: O método demonstra eficiência excepcional de dados, alcançando capacidades de raciocínio fundamentado com apenas 20 amostras de treinamento extraídas de conjuntos de dados VQA existentes (VSR e TallyQA).
Capacidades Unificadas: Experimentos mostram que os modelos treinados com GRIT unificam com sucesso a fundamentação e o raciocínio, que frequentemente estão desconectados em MVLs base, levando a saídas coerentes e precisas.

Resultados Experimentais

Os autores avaliaram os modelos treinados com GRIT (Qwen 2.5-VL e InternVL 3) contra baselines incluindo Consulta Direta, Cadeia de Pensamento (CoT), ICL de Um Exemplo e SFT de Poucos Exemplos em sete conjuntos de teste (VSR, TallyQA, GQA, MME, MathVista-mini, OVDEval).

Desempenho: Os modelos treinados com GRIT superaram todas as baselines tanto na precisão da resposta julgada por GPT quanto no IoU de Fundamentação (Interseção sobre União das caixas geradas versus a referência). Notavelmente, generalizaram-se efetivamente para dados fora de domínio, apesar de terem sido treinados com apenas 20 amostras.
Qualidade de Fundamentação: Uma análise qualitativa revelou que os modelos GRIT determinam dinamicamente quando a fundamentação é necessária, evitando falsos positivos para entidades inexistentes.
Correlação Cross-Modal: Uma nova métrica, "Correlação Cross-Modal de Raciocínio Visão-Linguagem", mostrou que as regiões de imagem selecionadas pelos modelos GRIT são altamente semanticamente coerentes com o texto acompanhante, superando as baselines ICL Zero-shot e SFT Few-shot.
Mecanismo de Atenção: A análise das pontuações de atenção indicou que a presença de caixas delimitadoras na cadeia de raciocínio aumenta significativamente a atenção do modelo aos tokens visuais relevantes nas etapas subsequentes de raciocínio.
Escalonamento: O aumento dos dados de treinamento de 20 para 7.000 amostras melhorou o desempenho em domínio, mas mostrou retornos decrescentes e desafios de generalização para tarefas fora de domínio, sugerindo que a diversidade de dados é mais crítica do que o volume para a generalização.

Significado e Alegações

O artigo alega que o GRIT representa um passo significativo para frente na habilitação de MVLs para realizar raciocínio fundamentado visualmente. Ao permitir que os modelos gerem referências visuais explícitas dentro de seus processos de pensamento, o GRIT alcança uma "unificação bem-sucedida de capacidades de raciocínio e fundamentação".

Os autores enfatizam que esta é a primeira abordagem de código aberto a alcançar raciocínio intercalado visual-textual via RL leve, sem necessidade de anotações explícitas para etapas intermediárias. Embora o estudo se concentre em MVLs menores para validar a eficiência em vez do desempenho máximo, os resultados sugerem que instilar raciocínio fundamentado complexo com dados mínimos é viável. O artigo conclui que melhorias futuras na generalizabilidade dependerão provavelmente mais da diversidade dos dados de treinamento e do pré-treinamento do modelo do que simplesmente aumentar o volume de dados.