FAU at ImageCLEF 2026 Task on Multimodal Reasoning Robust Candidate Scoring and Concise Multilingual Visual Answering

Imagine que você está sentado em uma sala de exame de alto nível, mas em vez de apenas ler palavras em uma página, o teste é uma colagem caótica de livros didáticos densos, diagramas complexos, fórmulas rabiscadas e gráficos em seis idiomas diferentes. Seu trabalho é olhar para essa bagunça visual e responder perguntas difíceis sobre ela. Este é o mundo do "Raciocínio Multimodal", um campo onde os computadores tentam agir como estudantes humanos que conseguem tanto "ver" uma imagem quanto "ler" o texto dentro dela. Por muito tempo, a grande questão foi: "Quão inteligente o cérebro do computador precisa ser para passar?". Mas há um detalhe. Mesmo que um computador superinteligente entenda a matemática e a ciência perfeitamente, ele ainda pode falhar no teste se falar demais, usar a língua errada ou escrever sua resposta em um formato bagunçado que a máquina de correção do professor não consiga ler. É como ter um aluno gênio que escreve um ensaio brilhante, mas esquece de escrever seu nome na linha, então recebe um zero.

Este artigo conta a história de uma equipe da Alemanha (FAU) que entrou em uma competição chamada ImageCLEF 2026 para resolver exatamente este problema. Eles não construíram apenas um cérebro mais inteligente; eles construíram um professor mais rigoroso. Sua principal descoberta é que como você pede para o computador responder é tão importante quanto o próprio computador. Eles descobriram que, para questões de múltipla escolha, é melhor impedir o computador de "escrever" uma resposta e, em vez disso, fazer com que ele "pontue" as opções como um juiz. Para questões abertas, eles aprenderam que o computador precisa ser forçado a ser breve e limpo, removendo todo o seu "pensar em voz alta" antes de enviar o resultado final. Eles também tentaram alguns truques populares, como dar ao computador uma folha de referência de texto (OCR) ou ensinar coisas novas (ajuste fino/fine-tuning), mas, surpreendentemente, esses truques na verdade fizeram o computador ter um desempenho pior. Ao focar em regras estritas e na limpeza das respostas, o sistema deles subiu ao topo da tabela de classificação, provando que um pouco de disciplina de engenharia pode transformar uma IA poderosa, mas bagunçada, em um candidato a teste confiável.

O Desafio: O Exame Visual

A competição tinha dois tipos principais de perguntas. O primeiro era a Múltipla Escolha Visual (Visual MCQ). Imagine uma pergunta de biologia em búlgaro com uma tabela de dados e cinco opções rotuladas de A a E. O computador tem que escolher a letra certa. O segundo era a Resposta de Pergunta Aberta Visual (Visual OpenQA). Aqui, não há opções. O computador tem que olhar para um diagrama (talvez um gráfico de economia) e escrever uma resposta curta e direta no mesmo idioma da pergunta.

A parte complicada é que essas imagens são cheias de informações "densas". Elas não são apenas fotos de gatos; são páginas de artigos científicos com fórmulas, unidades e textos minúsculos. Se o computador se confundir com o layout ou escrever uma explicação longa quando apenas um número é necessário, ele perde pontos.

A Estratégia: O Truque "Pontuar, Não Escrever"

Para a parte de múltipla escolha, a equipe percebeu que deixar o computador escrever uma frase como "A resposta é A porque..." era perigoso. O computador poderia acertar a letra, mas envolvê-la em muito texto extra, confundindo o sistema de correção.

Em vez disso, eles mudaram o jogo. Eles pediram ao computador para olhar para as opções A, B, C, D e E e simplesmente dar a cada uma uma "pontuação" baseada em quão provável era de estar correta. Pense nisso como um ju judge de esportes dando uma nota de 9,5 para a rotina de uma ginasta em vez de escrever um parágrafo sobre ela. O computador não precisava gerar texto; ele só precisava calcular qual letra tinha a maior pontuação. Isso tornou as respostas incrivelmente limpas e fáceis de combinar. Se eles executassem o teste com três cérebros de computador diferentes, poderiam pegar as pontuações de todos os três, tirar a média e escolher o vencedor. Essa "fusão de pontuação" ajudou a obter uma precisão muito alta de 0,7108, colocando-os em terceiro lugar no geral.

A Equipe de Limpeza: Domando a IA Falante

Para as perguntas abertas, o problema era o oposto. Os computadores eram falantes demais. Eles adoravam explicar seu raciocínio, dizer "Aqui está a resposta" ou usar tags XML elegantes como <answer>. O sistema de correção, no entanto, queria apenas a resposta bruta.

A equipe tratou isso como um editor rigoroso. Eles usaram um "prompt conciso" que dizia ao computador: "Pare de pensar em voz alta. Apenas me dê a resposta". Depois, eles passaram as respostas por uma "equipe de limpeza" (um conjunto de regras) que deletava quaisquer palavras extras, rastros de raciocínio ou erros de formatação. Eles também combinaram as respostas de vários modelos de computador diferentes. Se um modelo dizia "50 kg" e outro dizia "50 quilogramas", o sistema entendia que eram a mesma coisa e escolhia a melhor. Essa limpeza cuidadosa e combinação ajudaram a vencer o primeiro lugar na categoria de perguntas abertas com uma pontuação de 0,6488 (medida por uma métrica chamada COMET).

Os "Nãos" Surpreendentes: O Que Não Funcionou

A equipe tentou duas coisas que muitas pessoas pensam que deveriam ajudar, mas que na verdade diminuíram as pontuações.

1. A Folha de Referência (OCR): Eles tentaram alimentar o computador com uma transcrição de texto da imagem (usando uma ferramenta chamada OCR) para ajudá-lo a ler o texto. Mas isso saiu pela culatra. A transcrição frequentemente continha erros de digitação, fórmulas quebradas ou ordem errada de palavras. Era como dar a um aluno uma folha de referência cheia de erros; confundiu o computador mais do que a própria imagem.
2. O Curso Intensivo (Fine-Tuning): Eles tentaram "ensinar" o computador especificamente sobre as questões do exame usando um método chamado ajuste fino LoRA. Eles pensaram que isso faria o computador se tornar um especialista. Em vez disso, tornou o computador pior. O artigo sugere que o computador já era inteligente o suficiente para ler as imagens, e tentar retreiná-lo em um conjunto de dados pequeno e bagunçado apenas prejudicou suas habilidades naturais.

A Lição Aprendida

A grande lição deste artigo não é sobre inventar um novo cérebro superinteligente. É sobre engenharia de inferência — que é uma forma elegante de dizer "como pedimos ao computador para fazer o seu trabalho". Os autores descobriram que um modelo de computador poderoso, quando recebe regras estritas, entradas limpas e um bom processo de limpeza, pode superar um modelo ligeiramente mais inteligente que é permitido ser bagunçado.

Eles mostraram que você nem sempre precisa tornar a IA maior ou treiná-la com mais força. Às vezes, você só precisa dizer a ela para ficar quieta, escolher a letra certa e entregar uma folha de respostas limpa. Ao focar nesses detalhes práticos, eles transformaram modelos de visão-linguagem poderosos em candidatos de competição confiáveis, provando que, às vezes, a melhor maneira de resolver um problema é gerenciar a saída, não apenas atualizar o motor.