💬 NLP

Adjudicated Captioning: Multi-Agent Alignment Scoring and Consensus-Distilled Beam Arbitration for Strict Zero-Shot Image Captioning

O artigo propõe o "Adjudicated Captioning", um framework de inferência multiagente livre de treinamento que aprimora a legenda de imagens zero-shot estrita ao integrar codificadores de recuperação congelados e verificadores de atenção cruzada com reclassificadores de destilação de consenso autossupervisionados para alcançar o desempenho de estado da arte no COCO e Flickr30k sem retreinar o legendador subjacente.

Autores originais: Duy Tran Thanh, Thien-Phuc Doan, Long Nguyen-Vu, Ngo Tan Vu Khanh

Publicado 2026-08-03

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Duy Tran Thanh, Thien-Phuc Doan, Long Nguyen-Vu, Ngo Tan Vu Khanh

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a descrever uma foto que ele nunca viu antes. Você não pode mostrar a ele a foto e a descrição correta juntas durante seus anos de escola; isso seria "violar o protocolo rigoroso de aprendizado zero-shot" no mundo do aprendizado zero-shot estrito. Em vez disso, você dá ao robô uma biblioteca massiva de descrições de texto e um par de óculos especiais que consegue adivinhar grosseiramente como uma foto parece com base em palavras. O trabalho do robô é olhar para uma nova foto, encontrar as descrições mais semelhantes em sua biblioteca e, então, usar essas descrições para escrever uma nova legenda.

Por muito tempo, esse processo atingiu um muro frustrante. O robô encontrava algumas descrições semelhantes, escolhia as melhores e então deixava seu "cérebro de linguagem" interno terminar a frase. O problema era que, uma vez que o robô começava a escrever, ele parava de verificar se o que estava dizendo realmente correspondia à foto. Ele se tornava focado demais em soar fluente e gramaticalmente correto, muitas vezes ignorando os detalhes visuais. Era como um guia turístico que memorizou um roteiro sobre uma montanha famosa mas, uma vez que o tour começou, apenas continuou falando sobre como montanhas são bonitas em geral, esquecendo de mencionar que aquela montanha específica à frente deles era, na verdade, um vulcão.

Este artigo aborda exatamente esse problema. Os pesquisadores, trabalhando no campo da inteligência artificial e visão computacional, propõem uma nova maneira de manter o robô honesto. Eles chamam seu método de "Legendagem Adjudicada" (Adjudicated Captioning). Em vez de deixar o robô escrever toda a história e depois torcer pelo melhor, eles instalam uma equipe de "juízes" rigorosos que verificam o trabalho em vários estágios. Eles não treinam novamente o céreنا do robô (o que exigiria ver as fotos e as respostas juntas); em vez disso, eles adicionam uma camada inteligente e autocorretiva que roda após o robô ter feito seu rascunho inicial.

Veja como o novo sistema deles funciona, usando uma história simples:

O Jeito Antigo: A Verificação Única
No sistema antigo, o robô olhava para uma foto de um snowboarder e perguntava à sua biblioteca: "Quais palavras estão próximas a isso?". Ele encontrou nove descrições semelhantes. Escolheu as cinco melhores e, então, seu cérebro de linguagem começou a escrever. Ele escreveu: "Um snowboarder e um snowboarder estão posando". O sistema parou aí. Ele nunca perguntou: "Espere, esta foto mostra realmente duas pessoas?". Ele apenas confiou que seu cérebro de linguagem estaria certo. Isso levou a uma pontuação de 108,0 em um teste padrão chamado CIDEr (uma forma de medir o quão boa é uma legenda).

O Novo Jeito: O Tribunal de Múltiplos Estágios
Os autores perceberam que o robô precisava de mais de uma verificação. Eles construíram um pipeline com três novos "juízes" que trabalham juntos sem nunca ver as respostas "corretas" (a verdade fundamental/ground truth).

O Bibliotecário Mais Forte (Estágio 1): Primeiro, eles trocaram os óculos do robô por um par muito mais nítido. Em vez de uma lente padrão, usaram um modelo massivo e poderoso (OpenCLIP ViT-bigG/14) para encontrar as descrições iniciais. Isso, por si só, tornou o robô mais inteligente, elevando a pontuação para 111,6.
O Interrogador (Estágio 2): Em seguida, eles adicionaram um segundo juiz. Este juiz não olha apenas para as palavras; ele usa uma ferramenta especial de "atenção cruzada" (um Verificador BLIP-ITM) para estudar profundamente a relação entre a foto e o texto. Ele pega as nove descrições iniciais encontradas pelo bibliotecário e as reclassifica, escolhendo as cinco melhores. Este juiz é diferente do bibliotecário; ele captura o que o bibliotecário deixa passar. Se o bibliotecário acha que uma foto é sobre "um homem", este juiz pode perceber que é, na verdade, "dois homens". Este passo é crucial porque os dois juízes frequentemente discordam, e essa discordância ajuda o sistema a encontrar a verdade.
O Árbitro Final (Estágio 4): Finalmente, o robô gera uma lista de 20 frases possíveis (um "beam"). Normalmente, ele escolheria a que soasse mais fluente. Mas agora, duas novas e pequenas cabeças de IA autoaprendizes (chamadas TriFuse e MemAttend) intervêm. Essas cabeças olham para as 20 frases e fazem três perguntas para cada uma:
- O cérebro de linguagem gosta dela?
- O Bibliotecário Mais Forte acha que ela combina com a foto?
- O Interrogador acha que ela combina com a foto?

Essas duas novas cabeças são treinadas de uma maneira inteligente. Elas não precisam de um professor com as respostas certas. Em vez disso, elas olham para os três juízes acima. Se todos os três juízes concordarem que uma frase específica é a melhor, as novas cabeças aprendem a escolher essa frase. É como um aluno aprendendo ao observar um painel de especialistas concordarem com a resposta certa, em vez de ser informado diretamente sobre a resposta.

O Resultado
Ao adicionar essas verificações, o sistema não apenas soou melhor; ele se tornou mais preciso. No teste COCO Karpathy, o novo sistema alcançou uma pontuação CIDEr de 117,6, um salto enorme em relação ao melhor anterior de 108,0. Mais impressionante ainda, ele superou um método que utiliza imagens "falsas" geradas por outras IAs para treinar a si mesmo (que pontuou 109,9), tudo sem que o robô visse sequer uma única imagem e legenda pareadas durante seu treinamento.

O artigo também testou o sistema em diferentes tipos de fotos, como as do Flickr30k e NoCaps. O sistema melhorou esses scores também, ganhando +8,1 e +5,7 pontos, respectivamente, provando que essa abordagem de "múltiplos juízes" funciona mesmo em fotos para as quais o robô não foi especificamente treinado.

O Que Eles Descartaram
Os pesquisadores foram cuidadosos para mostrar que isso não era mágica. Eles provaram que simplesmente tornar o cérebro de linguagem mais forte não era a resposta; a melhoria veio de onde e de como eles verificavam a correspondência entre imagem e texto. Eles também mostraram que apenas adicionar um segundo juiz não era suficiente; os juízes tinham que ser tipos diferentes de modelos (um "codificador duplo" e um "combinador de atenção cruzada") para que pudessem capturar diferentes tipos de erros. Eles até testaram uma ideia "negativa": tentar usar as piores descrições para ensinar ao robô o que não dizer. Isso na verdade piorou as coisas, provando que focar nas melhores correspondências era o caminho certo.

O Quão Certos Eles Estão?
O artigo é muito confiante nesses números. Eles executaram os testes várias vezes e descobriram que os resultados eram estáveis, com apenas pequenas flutuações aleatórias (cerca de 0,1 pontos) devido a peculiaridades do hardware do computador. Eles também mostraram que a melhoria não ocorreu apenas porque usaram uma versão específica de um juiz treinado no exato mesmo conjunto de dados; mesmo quando trocaram por um juiz treinado em um conjunto diferente de fotos, o sistema ainda melhorou significativamente.

Em resumo, este artigo sugere que a razão pela qual a legendagem por IA estagnou não foi porque os robôs eram muito burros, mas porque eles confiavam demais em suas próprias palavras. Ao adicionar uma equipe de juízes independentes e auto-supervisionados para verificar o trabalho em cada etapa, o sistema aprendeu a descrever o mundo de forma mais precisa, tudo sem quebrar as regras do aprendizado zero-shot estrito.

Resumo Técnico: Legendagem Adjudicada

Definição do Problema
O artigo aborda o estagnação na Legendagem de Imagem Zero-Shot Estrita (ZIC - Strict Zero-Shot Image Captioning), um regime onde o Legendador (o gerador de texto) é treinado exclusivamente em corpora de texto, sem supervisão pareada de imagem-legenda. Os métodos de recuperação existentes neste regime, como o IFCap, sofrem de um gargalo estrutural: eles pontuam o alinhamento imagem-texto exatamente uma vez na etapa inicial de recuperação usando um codificador dual (tipicamente o CLIP ViT-B/32). Uma vez estabelecido o pool de recuperação, o beam de busca autorregressiva do Legendador é selecionado baseando-se apenas na probabilidade do modelo de linguagem. Isso deixa o decodificador sem feedback adicional de fundamentação visual, resultando em saídas fluentes, mas potencialmente não fundamentadas. O progresso neste regime estrito estagnou desde 2024, com nenhum método superando o escore CIDEr de 108.0 do IFCap no benchmark COCO Karpathy sem recorrer à aumentação sintética de imagem ou ao retreinamento do Legendador.

Metodologia: Legendagem Adjudicada
Os autores propõem a Legendagem Adjudicada (Adjudicated Captioning), um framework de múltiplos agentes em tempo de inferência que restaura o feedback de fundamentação visual em múltiplos checkpoints sem modificar o Legendador subjacente (IFCap). O pipeline introduz três componentes inovadores sobre a arquitetura IFCap inalterada:

Codificador de Recuperação Mais Forte (Estágio 1): A etapa de recuperação inicial é atualizada de OpenAI CLIP ViT-B/32 para um OpenCLIP ViT-bigG/14, mais forte segundo a lei de escala (scaling law). Este recupera os 9 candidatos principais do corpus de treinamento do COCO com base na similaridade de cosseno.
Verificador de Atenção Cruzada (Estágio 2): Um Verificador de Atenção Cruzada BLIP-ITM congelado é inserido entre a recuperação e a decodificação. Ele reclassifica os 9 candidatos principais para um pool de 5 "adjudicado pelo Verificador". Este componente fornece informações ortogonais à recuperação do codificador dual, como evidenciado por uma baixa correlação de rank ( $\rho \approx 0.4$ ) entre os scores de cosseno do CLIP e os scores de correspondência do Verificador.
Reclassificadores de Beam Aprendidos (Estágio 4): Na saída, dois módulos complementares, aprendidos via auto-supervisão, selecionam a legenda final do beam de largura 20 do Legendador:
- TriFuse: Um MLP minimalista de 113 parâmetros que funde três sinais por candidato: a log-probabilidade do Modelo de Linguagem (GPT-2), o cosseno do Codificador de Recuperação e o score de correspondência do Verificador.
- MemAttend: Um codificador transformer aumentado por memória de 17.4K parâmetros que permite que os candidatos do beam realizem atenção cruzada com o pool de recuperação adjudicado pelo Verificador (tokens de memória).

Paradigma de Treinamento
Crucialmente, os componentes aprendidos (TriFuse e MemAttend) são treinados estritamente de forma auto-supervisionada sob o regime de legendador apenas-texto. Eles não utilizam quaisquer rótulos pareados de imagem-legenda ou legendas de referência. Em vez disso, são treinados via destilação de consenso Borda através dos três pontuadores congelados (LM, Recuperação, Verificador). O pseudo-rótulo para cada candidato é derivado da média do rank invertido dos três pontuadores, e os modelos são treinados para minimizar a entropia cruzada de lista contra este alvo de consenso.

Principais Contribuições

Hipótese Arquitetural: O artigo identifica a pontuação de alinhamento de checkpoint único como a causa do platô da ZIC e propõe um remédio: colocar pontuadores de imagem-texto fortes e congelados em múltiplos checkpoints (recuperação, verificação e saída).
Reclassificadores Auto-supervisionados: A introdução do TriFuse e MemAttend como os primeiros Reclassificadores de Beam propostos especificamente para o regime ZIC de apenas-texto.
Ganhos de Desempenho: O framework alcança um CIDEr de 117.6 e SPICE de 21.9 no COCO Karpathy, superando o estado da arte anterior de ZIC estrita (IFCap, 108.0) em +9.6 CIDEr e o método mais forte com aumentação sintética (NES, 109.9) em +7.7 CIDEr, tudo sem retreinar o Legendador.
Transferência Cross-Domain: A receita de apenas inferência transfere-se efetivamente para o Flickr30k (+8.1 CIDEr) e NoCaps (+5.7 CIDEr) sem retreinar o Legendador.

Resultados e Ablação

Decomposição do Ganho: O ganho total de +9.6 CIDEr é decomposto da seguinte forma:
- +7.8 CIDEr é atribuído a intervenções arquiteturais não aprendidas (Codificador de Recuperação mais forte, reclassificação do Verificador e escalonamento de limiar de filtro de entidade). Um baseline de fusão fixa livre de treinamento atinge 115.8 CIDEr.
- +1.8 CIDEr é atribuído ao ensemble aprendido TriFuse+MemAttend.
Redução de Alucinação: O framework reduz a alucinação de proxy de referência ao nível de sentença (CHAIRs) em aproximadamente 41% (de 13.28% para 7.84%), indicando descrições mais fundamentadas.
Substrato do Verificador: Trocar o Verificador ajustado no COCO por uma variante ajustada no Flickr30k ainda produz um aumento de +6.0 CIDEr sobre o IFCap, confirmando que a intervenção arquitetural é o principal motor de desempenho, não apenas o ajuste específico para o COCO.

Significância e Alegações
O artigo afirma que o platô da ZIC estrita é um artefato arquitetural em vez de um limite fundamental da modelagem de linguagem. Ao passar de uma estratégia de pontuação de alinhamento de checkpoint único para um pipeline "adjudicado" de múltiplos checkpoints, os autores demonstram que a geração aumentada por recuperação pode ser significativamente melhorada sem supervisão pareada ou retreinamento do Legendador. O trabalho estabelece que colocar um verificador de atenção cruzada entre a recuperação e a decodificação, seguido por um reclassificador de consenso destilado, recupera efetivamente os sinais de alinhamento perdidos em pipelines tradicionais. Os autores posicionam seu método como um novo baseline operacional para a ZIC estrita, superando até mesmo alguns baselines de supervisão pareada (como o ClipCap) em CIDEr e SPICE, mantendo a restrição rigorosa de treinamento apenas-texto.

Resumo Técnico: Legendagem Adjudicada

Mais como este