🤖 AI

When Prompts Become Pixels: Prompt-Region Grounding for Multimodal Reasoning

Este artigo introduz o Visualized Task Semantics (VTS) para revelar uma lacuna significativa de desempenho em modelos multimodais quando as instruções são incorporadas como pixels em vez de texto, e propõe um método de grounding de região de prompt que preenche efetivamente esse canal de lacuna semântica sem exigir OCR ou metadados de região durante a inferência.

Autores originais: Yongxin Wang, Ruizhe Zhou, Yueling Tang, Yingying Zhu, Xuemin Zhao, Xiaojun Chang, Xiaodan Liang

Publicado 2026-08-06

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yongxin Wang, Ruizhe Zhou, Yueling Tang, Yingying Zhu, Xuemin Zhao, Xiaojun Chang, Xiaodan Liang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô superinteligente a resolver quebra-cabeças. Este robô, conhecido como um Modelo de Linguagem de Grande Escala Multimodal (MLLM), é um pouco como um aluno gênio que consegue ler texto e olhar para imagens ao mesmo tempo. Normalmente, você dá ao robô uma imagem de um problema matemático e uma mensagem de texto separada dizendo: "Resolva isto!". O robô lê a instrução de texto, olha para a imagem e dá a resposta. Mas e se você não desse a instrução como uma mensagem de texto? E se você escrevesse a instrução dentro da própria imagem, como um sinal pintado em uma parede?

Os cientistas têm se perguntado se este robô ainda funcionaria tão bem. Importa se a instrução é um "token de texto" (uma palavra digital) ou um "pixel" (um minúsculo ponto de cor em uma tela)? No mundo da inteligência artificial, existe a suspeita de que os robôs podem ser ótimos em ler texto, mas terríveis em "ler" instruções que fazem parte da imagem. Eles podem ser capazes de copiar as palavras perfeitamente (como uma fotocopiadora), mas falhar em realmente entender que aquelas palavras são o chefe dando ordens a eles. Este artigo mergulha nesse mistério para ver se o robô fica confuso quando as regras estão escritas na imagem em vez de no chat.

O Mistério da Pergunta "Pixelada"

Os pesquisadores, uma equipe de universidades e empresas de tecnologia, decidiram testar essa ideia com um experimento astuto que chamam de Semântica de Tarefa Visualizada (VTS). Imagine que você tem um teste de matemática padrão. Normalmente, a pergunta é digitada acima da imagem. Para o experimento deles, eles pegaram exatamente a mesma pergunta, apagaram o texto digitado e pintaram a pergunta diretamente na imagem, logo acima do problema. Eles até substituíram a instrução digitada original por uma nota pequena e entediante que dizia apenas: "Ajude-me a resolver o problema".

Eles realizaram este teste em seis modelos de IA diferentes usando quatro tipos diferentes de benchmarks complicados (como gráficos matemáticos e diagramas complexos). O resultado foi uma queda massiva no desempenho. Em média, os modelos foram 17,8 pontos menos precisos quando a pergunta estava pintada na imagem em comparação a quando estava digitada. Em alguns casos, a queda foi de até 28,0 pontos.

Não era apenas que os robôs não conseguiam ler as letras. Os pesquisadores verificaram, e os modelos eram, na verdade, capazes de transcrever as palavras pintadas corretamente na maioria das vezes. O problema era mais profundo: os modelos estavam falhando em usar essas palavras como instruções. É como se o robô visse o sinal na parede, conseguisse soletrar as palavras, mas não percebesse: "Oh, este sinal está me dizendo o que fazer!". Os pesquisadores chamam isso de um "hiato de canal semântico". O caminho que a informação percorre (texto vs. imagem) altera a forma como o robô pensa, mesmo que as palavras sejam idênticas.

A Solução: Ensinando o Robô a "Ancorar" o Sinal

Para corrigir isso, a equipe desenvolveu um novo método de treinamento chamado Ancoragem de Região de Prompt (Prompt-Region Grounding). Pense nisso como ensinar uma criança a apontar para um sinal e dizer: "Esta é a regra!".

Eles usaram dois truques especiais durante o treinamento:

PVRD-SG (O "Match de Significado"): Eles mostraram ao robô a imagem com a pergunta pintada e uma versão de texto limpa e separada dessa mesma pergunta. Eles forçaram o robô a perceber que o patch específico de pixels contendo a pergunta significa a mesma coisa que o texto digitado. É como conectar o sinal físico na parede ao conceito da regra no cérebro do robô.
PRMLP (O "Teste do Ponto Cego"): Eles pegaram a imagem com a pergunta pintada e cobriram partes do texto com uma caixa preta (máscara). Em seguida, pediram ao robô para adivinhar o que o texto oculto significava com base no resto da imagem. Isso forçou o robô a aprender a essência da instrução, não apenas memorizar os pixels exatos.

A melhor parte? Este treinamento não exigiu que o robô usasse nenhuma ferramenta especial como OCR (Reconhecimento Óptico de Caracteres) ou que soubesse exatamente onde estava a caixa de texto quando estivesse realizando o teste. Durante o exame final, o robô apenas vê a imagem com a pergunta pintada e responde diretamente, exatamente como antes.

Os Resultados: Fechando o Hiato

Os resultados foram promissores. Após este novo treinamento, a precisão dos modelos nos testes de "pergunta pintada" saltou de 58,0% para 66,3%. É uma melhoria significativa, estreitando a lacuna entre instruções de texto e instruções de imagem. Os modelos também ficaram ligeiramente melhores nos testes originais baseados em texto (indo de 69,1% para 70,3%), provando que não perderam suas habilidades antigas.

Os pesquisadores testaram isso em mais de 1.000 imagens do mundo real que não tinham visto antes, como fotos de folhas de exercícios, formulários e capturas de tela. O novo método melhorou a precisão em 7,9 pontos nessas páginas do mundo real.

O Que Isso Significa

O artigo conclui que ler texto em uma imagem e usar esse texto como uma instrução são duas habilidades diferentes. Só porque um robô consegue ler as palavras, não significa que ele saiba ouvi-las quando fazem parte de uma imagem. Ao ensinar o robô a "ancorar" a pergunta visual ao seu significado, eles ajudaram a construir essa ponte.

Os autores ressaltam cuidadosamente que, embora tenham melhorado a situação, não a resolveram completamente. Ainda resta um pequeno hiato, e o método funciona melhor quando o texto está claramente visível e em um formato padrão. No entanto, este estudo prova que a maneira como falamos com a IA importa. Se queremos que os robôs sejam verdadeiramente inteligentes, precisamos ensiná-los que uma pergunta escrita em pixels é tão importante quanto uma pergunta digitada em uma caixa de chat.

Resumo Técnico: Quando Prompts se Tornam Pixels: Grounding de Região de Prompt para Raciocínio Multimodal

1. Definição do Problema

Modelos de Linguagem de Grande Escala Multimodais (MLLMs) processam cada vez mais capturas de tela e documentos onde as próprias instruções da tarefa são renderizadas como texto dentro da imagem (pixels). Embora modelos de alta resolução consigam ler esse texto com alta precisão, permanece incerto se eles utilizam essas instruções visuais com a mesma eficácia que os prompts baseados em texto.

Trabalhos anteriores observaram quedas de desempenho quando as instruções são visualizadas, mas essas lacunas frequentemente confundem múltiplos fatores: expansão da tela, redimensionamento de imagem, artefatos de renderização e a mudança semântica de tokens de texto para pixels. Crucialmente, os benchmarks existentes não distinguem entre a falha do modelo em ler o texto visual (falha de OCR) e sua falha em utilizar o texto visual como uma instrução de raciocínio (lacuna do canal semântico). Este artigo postula que ler texto portador de tarefas e fundamentá-lo (grounding) como uma instrução são capacidades distintas, e que os MLLMs atuais exibem uma "lacuna de canal semântico" sistemática, onde as instruções visuais são menos eficazes que as digitadas, mesmo quando o texto é transcrito corretamente.

2. Metodologia

2.1 Semântica de Tarefa Visualizada (VTS)

Para isolar a lacuna do canal semântico, os autores introduzem a Semântica de Tarefa Visualizada (VTS), uma intervenção controlada.

Visão Original: A pergunta $q$ é fornecida como tokens de texto, e a imagem $x$ contém evidências visuais.
Visão VTS: A pergunta $q$ é renderizada como pixels de texto dentro de um painel branco acima da imagem $x$ . O prompt de texto nativo é substituído por uma deixa fixa (ex: "Ajude-me a resolver o problema").
Controles: O estudo emprega controles para geometria de tela, duplicação de prompt (pergunta em ambos os canais) e entradas de apenas imagem para descartar causas não semânticas para as quedas de desempenho.

2.2 Grounding de Região de Prompt

Para preencher a lacuna, os autores propõem o Grounding de Região de Prompt, um framework de treinamento que alinha explicitamente a representação visual da região do prompt com sua semântica digitada. Este método opera durante o ajuste fino supervisionado (SFT) e o aprendizado por reforço (GSPO) sem alterar a interface de inferência (não requer OCR ou metadados de região no momento do teste).

O framework introduz dois objetivos de nível de região aplicados ao VTS e exemplos de prompts visuais do mundo real:

Destilação de Representação Prompt-Visual com Grounding Semântico (PVRD-SG):
- Objetivo: Alinhar a representação visual da região do prompt com a representação semântica congelada da pergunta digitada.
- Mecanismo: O modelo agrupa tokens visuais da caixa da região do prompt conhecida $b_i$ na imagem renderizada. Esta representação $z_i^{vis}$ é otimizada para maximizar a similaridade de cosseno com um embedding de texto congelado e armazenado em cache $t_i$ , derivado da pergunta digitada.
- Restrição: O alvo de texto é congelado e possui stop-gradient, garantindo que o modelo aprenda a recuperar a semântica da tarefa a partir da região visual sem ser forçado a transcrever o texto.
Predição de Latente Mascarado de Região de Prompt (PRMLP):
- Objetivo: Garantir que a representação visual da região do prompt permaneça estável e recuperável, mesmo quando partes do texto renderizado estão ocluídas ou difíceis de observar.
- Mecanismo: Uma fração da região do prompt na imagem composta é mascarada. O modelo deve prever a representação do recorte limpo correspondente (a região do prompt não mascarada) a partir da entrada mascarada.
- Restrição: Este é um objetivo de consistência latente, não de reconstrução de pixels. Ele força o modelo a manter uma representação interna robusta da região de instrução.

2.3 Pipeline de Treinamento

Replay Balanceado: O modelo é treinado em um conjunto de dados pareado contendo as visões Original e VTS do mesmo problema, compartilhando o mesmo alvo de resposta.
Ajuste Fino Supervisionado (SFT): O modelo minimiza uma perda combinada: perda autoregressiva padrão de próximo token ( $L_{sft}$ ) mais as perdas de nível de região ( $L_{sg}$ e $L_{prmlp}$ ).
Aprendizado por Reforço (GSPO): O checkpoint supervisionado é refinado através de Otimização de Política de Sequência de Grupo (GSPO) com recompensas para correção de formato e precisão da resposta.

3. Principais Contribuições

Quantificação da Lacuna do Canal Semântico: O estudo demonstra que mover uma pergunta de tokens de texto para pixels de imagem causa uma queda sistemática de precisão em seis MLLMs e quatro benchmarks. A queda média é de 17,8 pontos, com alguns pares caindo até 28,0 pontos.
Desacoplamento de Leitura e Raciocínio: Testes diagnósticos revelam que os modelos frequentemente transcrevem perguntas visuais corretamente (87,6% de correspondência exata), mas falham em utilizá-las efetivamente (48,4% de precisão). Reinserir o texto transcrito no canal de texto recupera a precisão significativa, provando que a lacuna não é meramente uma falha de OCR, mas uma falha em realizar o grounding do texto visual como uma instrução.
Método de Grounding de Região de Prompt: Os autores introduzem uma receita de treinamento que fecha essa lacuna. Ao alinhar a região do prompt visual com a semântica digitada e impor consistência latente, o método melhora significamente a precisão do VTS sem exigir OCR ou detecção de região durante a inferência.
Generalização: O método melhora o desempenho em páginas reais retidas (UIs, planilhas, formulários) e benchmarks independentes (VISTA-Bench, OCRBench v2), sugerindo que a capacidade de grounding aprendida transfere-se além da renderização específica do VTS.

4. Resultados Experimentais

Os experimentos foram conduzidos principalmente no Qwen3-VL-4B e Qwen3-VL-8B, com resultados de transferência no InternVL3.5-8B.

Desempenho Baseline: Em quatro benchmarks (MATH-Vision, MathVista, ChartQA, MMMU), a precisão média de VTS para o baseline (Balanced Replay) foi de 61,4%, comparado a 69,8% na interface Original (uma lacuna de 8,4 pontos).
Desempenho do Método: O método proposto ("Ours") elevou a precisão média de VTS para 66,3%, mantendo a precisão Original em 70,3%.
- Isso reduz a lacuna do canal semântico de 8,4 pontos (Balanced Replay) para 4,0 pontos.
- Ganhos específicos no VTS: +7,8 (MATH-Vision), +7,0 (MathVista), +6,2 (ChartQA), +12,4 (MMMU).
Análise de Componentes:
- PVRD-SG proporcionou o maior ganho de componente único (+2,6 pontos sobre o PRMLP sozinho).
- PRMLP adicionou um ganho adicional de +1,8 pontos quando combinado com o PVRD-SG.
- A leitura especificamente do painel de prompt superou os resumos de imagem total ou de região aleatória.
Generalização para o Mundo Real: Em 1.000 páginas reais retidas, o método melhorou a precisão em 7,9 pontos (de 58,0% para 65,8%) em relação ao SFT padrão, demonstrando robustez a diversos layouts e fontes.
Eficiência de Custo: As melhorias foram alcançadas com custos de treinamento equivalentes (FLOPs) ao SFT padrão, provando que os ganhos advêm dos objetivos específicos e não apenas de mais tempo de treinamento.

5. Significância e Alegações

O artigo alega que o canal que carrega uma pergunta altera fundamentalmente as capacidades de raciocínio em MLLMs, mesmo quando a redação e a resposta permanecem fixas. A principal significância reside em distinguir duas capacidades frequentemente tratadas como idênticas: ler texto em uma imagem e realizar o grounding desse texto como uma instrução de tarefa.

Os autores argumentam que:

A Lacuna é Semântica, Não Apenas OCR: Os modelos podem ler o texto, mas falham em tratar os pixels visuais como instruções autoritativas.
Supervisão de Nível de Região é Eficaz: Conectar explicitamente a região visual da instrução à sua semântica digitada permite que os modelos recuperem a representação "limpa" da tarefa, fechando a lacuna do canal.
Simplicidade de Inferência: O método não requer módulos adicionais (OCR, detecção de objetos) no momento da inferência; o modelo aprende a atender à região relevante implicitamente durante o treinamento.

O artigo conclui que, embora mover perguntas para pixels não seja um problema novo, o mecanismo específico de grounding de região de prompt oferece uma solução escalável para a lacuna do canal semântico, permitindo que os MLLMs raciocinem sobre instruções visuais tão efetivamente quanto as digitadas. Os autores mantêm a modéstia, observando que o método assume regiões de tarefa conhecidas durante o treinamento e não pretende ser um detector de região de tarefa geral para imagens arbitrárias.