Retrieval Free Context Augmentation for Image Captioning: Learning from Self-Generated Beam Hypotheses

Os computadores tornaram-se notavelmente bons em observar uma fotografia e descrever o que veem. Esta capacidade, conhecida como legendagem de imagens (image captioning), situa-se na interseção de dois campos poderosos: a visão computacional, que ensina as máquinas a ver, e o processamento de linguagem natural, que as ensina a falar. Durante anos, a forma padrão de treinar estes sistemas tem sido mostrar-lhes milhares de imagens acompanhadas de descrições escritas por humanos. O computador aprende a associar os padrões visuais da imagem às palavras específicas que os humanos utilizaram. No entanto, esta abordagem tem uma limitação oculta. Ao depender exclusivamente da descrição única e estática fornecida por um humano para cada foto, a compreensão do mundo pelo computador permanece algo estreita e rígida. Ele aprende a repetir o que lhe foi dito, em vez de explorar as muitas formas diferentes pelas quais uma cena poderia ser descrita. Os investigadores estão agora a fazer uma pergunta simples, mas profunda: pode um computador aprender a escrever melhores descrições ao ouvir as suas próprias ideias, em vez de apenas esperar por instruções humanas?

Uma equipa de investigadores da Universidade de Sfax, na Tunísia, e de uma instituição parceira em França, propôs um novo método para responder a esta questão. Eles chamam à sua abordagem CAG-Cap, um sistema concebido para ajudar os modelos de legendagem de imagens a melhorarem-se a si próprios sem precisarem de pesquisar informações adicionais na internet. A ideia central é surpreendentemente autocontida. Em vez de procurar ajuda fora do modelo, os investigadores permitem que o modelo gere o seu próprio conjunto de descrições possíveis para cada imagem que vê durante o treino. Eles utilizam então estas opções autogeradas como material de ensino adicional. É um pouco como um estudante que, após resolver um problema de matemática, escreve três formas diferentes pelas quais poderia ter resolvido o mesmo, e depois estuda essas variações para se tornar mais flexível e confiante na sua compreensão.

O processo funciona em duas etapas distintas. Primeiro, o computador é treinado da forma tradicional, aprendendo a associar imagens a legendas escritas por humanos até atingir um nível estável de competência. Uma vez concluído este treino inicial, os investigadores fazem uma pausa e pedem ao computador para olhar novamente para cada uma das imagens de treino. Desta vez, em vez de dar apenas uma resposta, o computador é solicitado a gerar uma pequena lista das suas melhores suposições sobre o que a imagem retrata. Estas suposições não são aleatórias; são opções cuidadosamente selecionadas que o modelo acredita serem as descrições mais prováveis. Os investigadores guardam esta lista de legendas autogeradas num cache digital, um ficheiro de armazenamento temporário que atua como uma biblioteca dos próprios pensamentos do modelo.

Na segunda etapa, o modelo volta ao treino, mas o plano de aula mudou. Agora, quando o computador olha para uma imagem, não lhe é mostrada apenas a descrição humana original. É também mostrada a lista das suas próprias suposições anteriores. O sistema é então solicitado a aprender com ambas as fontes simultaneamente. Deve satisfazer a descrição humana, que atua como a verdade fundamental (ground truth), mas é também incentivado a prestar atenção às diversas variações que gerou para si mesmo. Esta abordagem dupla permite ao modelo perceber que uma única imagem pode ser descrita de muitas formas válidas. Ao estudar as suas próprias "hipóteses", o modelo aprende a ser menos rígido e mais adaptável, compreendendo que um comboio vermelho pode ser descrito como "vindo pela via" ou "viajando pela via" sem que nenhuma das duas esteja errada.

Os resultados deste experimento foram testados em duas grandes coleções padrão de imagens e descrições: uma contendo mais de 120.000 fotos e outra com 31.000. Os investigadores descobriram que este método de autoaperfeiçoamento produziu legendas que eram frequentemente mais precisas e estruturalmente sólidas do que as produzidas pelo método de treino padrão isoladamente. No conjunto de dados maior, o novo método gerou descrições que coincidiam mais de perto com as escolhas de palavras humanas nas primeiras palavras da frase, um sinal de uma precisão imediata mais aguda. No conjunto de dados menor, a melhoria foi ainda mais ampla, com o modelo a produzir legendas que eram melhores a capturar a estrutura total e o significado da cena. Crucialmente, esta melhoria ocorreu sem abrandar o computador quando este estava a ser efetivamente utilizado. Como a "biblioteca" de ideias autogeradas foi construída previamente, o computador não precisou de parar e pesquisar informações adicionais enquanto trabalhava. Ele simplesmente utilizou o conhecimento que já tinha destilado na sua própria memória.

Esta abordagem desafia uma tendência popular na inteligência artificial conhecida como geração aumentada por recuperação (retrieval-augmented generation), onde os sistemas procuram constantemente informações externas para ajudar a responder a perguntas. Embora esse método funcione, requer bases de dados massivas e pode abrandar significativamente o sistema. O método CAG-Cap prova que um modelo pode alcançar resultados semelhantes, e em alguns casos melhores, ao confiar inteiramente na sua própria capacidade interna de gerar e aprender com diversas possibilidades. Os investigadores demonstraram que o modelo pode utilizar eficazmente os seus próprios outputs passados como uma forma de autoensino, criando um ciclo onde o sistema melhora a descrição do mundo simplesmente ao refletir sobre as muitas formas como poderia descrever esse mundo.

O estudo também destacou que o sucesso deste método depende de como o sistema é ajustado. Os investigadores descobriram que o equilíbrio entre ouvir o professor humano e ouvir as próprias ideias do modelo era delicado. Se o modelo fosse solicitado a prestar demasiada atenção às suas próprias suposições, a qualidade das descrições diminuía. No entanto, quando o equilíbrio era alcançado corretamente, o modelo produzia legendas que eram não só precisas, mas também mais ricas em detalhes. Por exemplo, nos testes, o modelo descreveu com sucesso uma vaca parada numa rua ou uma girafa a caminhar por um campo com um nível de detalhe que correspondia de perto às descrições humanas, capturando frequentemente as ações e os cenários específicos de forma mais eficaz do que os métodos anteriores.

Em última análise, este trabalho sugere um caminho para uma inteligência artificial mais eficiente e autónoma. Ao mostrar que um modelo pode aprender com a diversidade que ele próprio gera, os investigadores ofereceram uma forma de melhorar estes sistemas sem o custo pesado de manter bases de dados externas ou abrandar o processo de inferência. As conclusões indicam que a chave para uma melhor legendagem de imagens pode não ser sempre encontrar mais dados do mundo exterior, mas sim ensinar o computador a pensar mais profundamente sobre os dados que ele já possui. Esta abordagem autocontida oferece uma forma prática e escalável de construir sistemas de visão mais inteligentes, capazes de descrever o nosso mundo visual com maior clareza e confiança.