🤖 AI

Re $^3$ Cap: Retrieval-Guided Refinement for Image Captioning Enhancement via Reinforcement Learning

Este artigo apresenta o Re $^3$ Cap, um framework de aprendizado por reforço guiado por recuperação que utiliza a recuperação multimodal para refinar legendas de imagens ao identificar alucinações e omissões, superando, assim, tanto o Ajuste Fino Supervisionado quanto métodos de RL existentes como o GRPO sem exigir anotações adicionais.

Autores originais: Haonan Jia, Shichao Dong, Zenghui Sun, Jiawen Zheng, Ziqi Miao, Gege Shi, Qiuyu Zhao, Jinsong Lan, Xiaoyong Zhu, Bo Zheng

Publicado 2026-08-24

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Haonan Jia, Shichao Dong, Zenghui Sun, Jiawen Zheng, Ziqi Miao, Gege Shi, Qiuyu Zhao, Jinsong Lan, Xiaoyong Zhu, Bo Zheng

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo digital, os computadores estão aprendendo a ver e a falar ao mesmo tempo. Esses sistemas, conhecidos como grandes modelos de visão-linguagem, podem olhar para uma fotografia e descrever o que está acontecendo nela. Essa habilidade é crucial para ajudar pessoas com deficiências visuais a navegar em seus arredores, para organizar vastas bibliotecas de imagens e para ensinar as máquinas a compreender o mundo visual. No entanto, esses observadores digitais ainda não são perfeitos. Embora consigam frequentemente identificar o assunto principal de uma foto, eles frequentemente inventam detalhes que não estão lá ou deixam passar nuances importantes. Eles podem afirmar que uma pessoa está segurando uma bola vermelha quando a bola é, na verdade, azul, ou podem não notar que o sol está projetando uma longa sombra pelo chão. Essa tendência de "alucinar" ou negligenciar fatos torna suas descrições pouco confiáveis para tarefas sérias.

Durante anos, pesquisadores tentaram corrigir isso mostrando ao computador milhares de exemplos de descrições corretas, um processo semelhante a como um estudante aprende através de um livro didático. Mais recentemente, outra abordagem surgiu, onde o computador tem permissão para praticar por conta própria, recebendo uma recompensa digital quando acerta uma descrição e uma penalidade quando erra. Este método, chamado de aprendizagem por reforço, tem mostrado promessa, mas muitas vezes tem dificuldade em levar o computador além de seus limites iniciais. O computador tende a repetir as mesmas frases seguras e familiares, em vez de explorar novas maneiras de descrever uma cena, deixando seu potencial para uma observação profunda e precisa inexplorado.

Um novo estudo introduz uma maneira diferente de guiar esses computadores de aprendizagem, uma que se baseia no poder da comparação, em vez de apenas repetição. Os pesquisadores, trabalhando com uma equipe da Alibaba e outras instituições, desenvolveram um sistema chamado Re3Cap. Em vez de pedir ao computador que adivinhe a resposta certa no vácuo, este sistema fornece a ele um conjunto de imagens semelhantes para observar primeiro. Imagine o computador olhando para a foto de um jogador de tênis. Antes de escrever uma descrição, o sistema encontra outras fotos em seu banco de dados que se parecem muito com aquela. Ele então lê as descrições que humanos escreveram para aquelas fotos semelhantes. Ao comparar seu próprio rascunho inicial contra essa coleção de descrições reais, escritas por humanos, de cenas semelhantes, o computador pode detectar seus próprios erros. Se o computador disser que o jogador está usando um chapéu, mas nenhuma das fotos semelhantes mostra chapéus, o sistema sinaliza isso como um erro provável. Se o computador não notar o fato de que a quadra é verde, mas todas as descrições de fotos semelhantes mencionam a cor verde, o sistema sabe que deve adicionar esse detalhe.

Os pesquisadores construíram duas ferramentas específicas para gerenciar esse processo. A primeira ferramenta atua como um editor cuidadoso, examinando as descrições das imagens semelhantes para encontrar os fatos que aparecem com mais frequência. Ela diz ao computador: "Mantenha estes detalhes porque eles são consistentemente verdadeiros para este tipo de cena". A segunda ferramenta atua como um verificador de qualidade. Ela observa a diferença entre o que o computador viu na foto original e o que ele escreveu. Se o computador escreveu sobre uma bola de tênis que não está na imagem, ou esqueceu uma sombra que é claramente visível, esta ferramenta identifica essas lacunas específicas. Ela então transmite esse feedback ao computador, não como uma nota simples, mas como um conjunto de instruções: remova a bola inventada, adicione a sombra ausente e mantenha os detalhes precisos sobre a postura do jogador.

Este processo permite que o computador refine seu próprio trabalho antes que ele seja finalizado. Os pesquisadores testaram este método em vários tipos diferentes de modelos de visão-linguagem usando um conjunto padrão de 500 imagens. Eles descobriram que, ao usar esta abordagem guiada por recuperação, os computadores geraram descrições significativamente mais precisas do que as produzidas por métodos anteriores. Em testes que mediam quão bem os modelos entendiam relações entre objetos, o novo método melhorou o desempenho em uma média de 8,64 por cento em comparação com a abordagem padrão de aprendizagem por reforço. Talvez o mais surpreendente seja que este método funcionou tão bem que superou modelos que foram treinados com milhares de exemplos rotulados por humanos, um processo muito mais caro e demorado.

O estudo sugere que a chave para uma melhor descrição de imagens não é apenas mais dados, mas uma maneira mais inteligente de usar os dados que já estão disponíveis. Ao permitir que o computador cruze suas próprias observações com uma multidão de exemplos semelhantes, ele aprende a distinguir entre o que realmente está lá e o que ele meramente imagina. Os pesquisadores observaram que o sistema é robusto, o que significa que funciona bem mesmo se o número de imagens semelhantes que ele verifica mudar ligeiramente. No entanto, eles também reconheceram que o método depende de ter uma coleção grande e diversificada de imagens para extrair informações; se a biblioteca de fotos semelhantes for muito pequena, o sistema não consegue encontrar os padrões necessários para se corrigir.

Em última análise, este trabalho oferece um novo caminho para ensinar as máquinas a ver o mundo com maior clareza. Ele mostra que, ao guiar a inteligência artificial para olhar o mundo através da lente de experiências semelhantes, podemos ajudá-la a superar sua tendência de inventar coisas. O resultado é um sistema que não apenas gera palavras, mas constrói descrições que estão fundamentadas na realidade da imagem, aproximando-nos de um futuro onde os computadores podem verdadeiramente entender e descrever o mundo visual ao nosso redor.

Resumo Técnico: Re3Cap

Definição do Problema

Embora o Aprendizado por Reforço (RL) tenha demonstrado ganhos significativos na legenda de imagens, ele enfrenta atualmente uma limitação crítica: tem dificuldade em incentivar os Modelos de Linguagem-Visão de Grande Escala (LVLMs) a explorar novas estratégias de raciocínio além das capacidades intrínsecas do modelo base. As abordagens de RL existentes frequentemente apenas selecionam a legenda de maior recompensa de um conjunto de candidatos pré-gerados, levando a um teto de desempenho onde modelos otimizados por RL falham em superar os métodos de Ajuste Fino Supervisionado (SFT). Além disso, os métodos atuais de legendagem baseados em RL são propensos a alucinações e frequentemente falham em capturar detalhes visuais finos, pois dependem de sinais de recompensa (como pontuações CLIP) que são suscetíveis ao "reward hacking" devido ao raciocínio composicional restrito dos Modelos de Visão-Linguagem (VLMs).

Metodologia

O artigo propõe o Re3Cap (Refinamento Guiado por Recuperação para Legendagem de Imagens), uma estratégia de raciocínio guiada por recuperação projetada para melhorar a legenda de imagens sem exigir anotações adicionais. O insight central é que a recuperação multimodal pode servir como um sinal de raciocínio eficaz. Imagens visualmente semelhantes compartilam conteúdo semântico sobreposto; portanto, uma legenda detalhada e precisa deve induzir resultados de recuperação semelhantes aos obtidos a partir da imagem de origem. Discrepâncias entre os resultados de recuperação baseados em imagem e baseados em legenda sinalizam desalinhamentos, indicando alucinações ou omissões.

O Re3Cap opera através de dois componentes primários dentro de um framework de RL:

Sugestor de Refinamento de Legenda (CRS - Caption Refinement Suggester):
- O CRS realiza a recuperação de imagens usando a imagem de origem como consulta contra um conjunto de dados de pares imagem-texto.
- Ele constrói um grafo onde os nós representam sentenças das legendas recuperadas. Arestas são estabelecidas com base na similaridade semântica (usando SBERT).
- Ao computar o subgrafo k-core deste grafo, o CRS filtra descrições de cauda longa e identifica elementos semanticamente consistentes ( $S^k_v$ ) que aparecem frequentemente em imagens similares.
- Esses elementos servem como um sinal para guiar o LVLM a incorporar detalhes visuais críticos e consistentes em suas descrições geradas.
Avaliador de Qualidade de Legenda (CQA - Caption Quality Assessor):
- O CQA avalia a qualidade de uma legenda gerada ( $c$ ) realizando a recuperação de texto usando a legenda como consulta.
- Ele constrói um grafo para os resultados recuperados pela legenda e computa seu k-core ( $S^k_c$ ).
- Um grafo bipartido é construído entre os resultados recuperados pela imagem ( $S^k_v$ ) e os resultados recuperados pela legenda ( $S^k_c$ ) para encontrar sua interseção ( $S^k_{vc}$ ), representando o conteúdo semanticamente consistente compartilhado por ambos.
- Alucinações são identificadas como conteúdo presente no núcleo de recuperação da legenda, mas ausente na interseção ( $S^k_c - S^k_{vc}$ ).
- Omissões são identificadas como conteúdo presente no núcleo de recuperação da imagem, mas ausente na interseção ( $\text{S}^k_v - \text{S}^k_{vc}$ ).

Framework de Aprendizado por Reforço:

Processo: O modelo amostra legendas iniciais, gera orientação (correção, omissões, alucinações) via CRS e CQA, e então produz legendas refinadas.
Otimização: O framework utiliza uma formulação PPO desacoplada. Durante o treinamento, a política de comportamento condiciona-se à imagem, à legenda inicial e à orientação. No entanto, durante a otimização da política, a política alvo é condicionada apenas à imagem. Este cenário off-policy permite que o modelo aprenda a gerar legendas de alta qualidade diretamente de imagens no momento da inferência, eliminando a necessidade de recuperação ou análise de k-core durante a implantação.
Objetivo: O modelo é otimizado para maximizar recompensas baseadas nas legendas refinadas enquanto minimiza a divergência KL de um modelo de referência.

Principais Contribuições

Nova Estratégia de Raciocínio: Os autores introduzem uma estratégia de raciocínio baseada em recuperação que identifica alucinações e omissões em legendas sem a necessidade de anotações humanas adicionais.
Framework Re3Cap: Um framework de aprendizado por reforço que guia LVLMs a gerar candidatos de legenda anteriormente inexplorados através da injeção de sinais de raciocínio guiados por recuperação, expandindo assim a fronteira de capacidade do modelo.
Superioridade de Desempenho: O método demonstra melhorias consistentes em várias arquiteturas de LVLM e funções de recompensa, superando métodos de estado da arte, incluindo aqueles que dependem de Ajuste Fino Supervisionado (SFT).

Resultados Experimentais

Experimentos extensivos foram conduzidos nos benchmarks COCO-LN500 e DOCCI500 usando múltiplos LVLMs base (LLaVA-1.5-7B, Qwen2-VL-7B, Qwen2.5-VL-7B, InternVL3-8B, Qwen3-VL-8B).

Comparação com GRPO: O Re3Cap supera significativamente o Group Relative Policy Optimization (GRPO) em múltiplas funções de recompensa (CLIP, SC, CIM). Notavelmente, na tarefa de Relations QA (uma medida de raciocínio relacional), o Re3Cap alcançou uma melhoria média de 8,64% sobre o GRPO no COCO-LN500, e 7,57% no DOCCI500, quando calculado a média entre múltiplos LVLMs base e funções de recompensa.
Comparação com SFT: Enquanto os métodos de RL padrão frequentemente ficam atrás do SFT, o Re3Cap supera os baselines de SFT. Por exemplo, usando o LLaVA-1.5-7B como modelo base, o Re3Cap superou o desempenho do SFT em múltiplas funções de recompensa e benchmarks, enquanto o GRPO falhou em fazê-lo.
Capacidade de Raciocínio: A análise usando a métrica max@k mostra que, ao contrário do RL convencional que estreita a distribuição de saída, o Re3Cap incentiva o modelo a gerar candidatos de legenda diversos e anteriormente inexplorados, expandindo efetivamente a fronteira de capacidade do modelo.
Estudos de Ablação: A remoção de qualquer um dos componentes, CRS ou CQA, resultou em quedas de desempenho, confirmando que tanto a identificação de elementos críticos (CRS) quanto a detecção de alucinações/omissões (CQA) são essenciais. A combinação de ambos os componentes produziu os melhores resultados.
Robustez: O método mostra robustez a variações de hiperparâmetros (número de recuperação $K$ e limiar de similaridade $\tau$ ) e diferentes escolhas de encoders (encoders de imagem e texto).
Eficiência: O overhead computacional é mínimo, exigindo apenas cerca de 12,5% mais tempo de treinamento comparado ao GRPO.

Significância

O artigo afirma que o Re3Cap oferece uma nova perspectiva para melhorar o desempenho de modelos na legenda de imagens ao aprimorar as capacidades de raciocínio de LVLMs dentro de um ambiente de aprendizado por reforço. Ao utilizar a recuperação multimodal como um sinal de raciocínio, o método preenche efetivamente a lacuna de desempenho entre RL e SFT, permitindo que os modelos gerem legendas mais precisas, detalhadas e livres de alucinações sem a necessidade de anotações adicionais dispendiosas. Os autores postulam que esta abordagem fornece insights valiosos para pesquisas futuras tanto em raciocínio multimodal quanto em geração de legendas.