FAU at ImageCLEF 2026 Task on Multimodal Reasoning Robust Candidate Scoring and Concise Multilingual Visual Answering

Imagina que estás sentado en un aula de un examen de alto nivel, pero en lugar de solo leer palabras en una página, la prueba es un collage caótico de libros de texto densos, diagramas complejos, fórmulas garabateadas y gráficos en seis idiomas diferentes. Tu trabajo es mirar este desorden visual y responder preguntas complicadas sobre él. Este es el mundo del "Razonamiento Multimodal", un campo donde las computadoras intentan actuar como estudiantes humanos que pueden tanto "ver" una imagen como "leer" el texto dentro de ella. Durante mucho tiempo, la gran pregunta fue: "¿Qué tan inteligente debe ser el cerebro de la computadora para aprobar?". Pero hay un truco. Incluso si una computadora súper inteligente entiende la matemática y la ciencia perfectamente, puede fallar la prueba si habla demasiado, usa el idioma equivrente o escribe su respuesta en un formato desordenado que la máquina de calificación del profesor no pueda leer. Es como tener un estudiante genio que escribe un ensayo brillante pero olvida escribir su nombre en la línea, por lo que obtiene un cero.

Este artículo cuenta la historia de un equipo de Alemania (FAU) que entró en una competición llamada ImageCLEF 2026 para resolver exactamente este problema. No solo construyeron un cerebro más inteligente; construyeron un profesor más estricto. Su principal descubrimiento es que cómo le pides a la computadora que responda es tan importante como la propia computadora. Descubrieron que para las preguntas de opción múltiple, es mejor evitar que la computadora "escriba" una respuesta y, en su lugar, hacer que "califique" las opciones como un juez. Para las preguntas abiertas, aprendieron que la computadora necesita ser obligada a ser breve y limpia, eliminando todo su "pensar en voz alta" antes de enviar el resultado final. También probaron algunos trucos populares, como darle a la computadora una hoja de referencia de texto (OCR) o enseñarle cosas nuevas (ajuste fino o fine-tuning), pero sorprendentemente, esos trucos hicieron que la computadora se desempeñara peor. Al enfocarse en reglas estrictas y en la limpieza de las respuestas, su sistema escaló hasta la cima de la tabla de clasificación, demostrando que un poco de disciplina de ingeniería puede convertir a una IA poderosa pero desordenada en un examinando confiable.

El Desafío: El Examen Visual

La competición tenía dos tipos principales de preguntas. El primero fue la Opción Múltiple Visual (Visual MCQ). Imagina una pregunta de biología en búlgaro con una tabla de datos y cinco opciones etiquetadas de la A a la E. La computadora tiene que elegir la letra correcta. La segunda fue la Respuesta Abierta Visual (Visual OpenQA). Aquí, no hay opciones. La computadora tiene que mirar un diagrama (tal vez un gráfico de economía) y escribir una respuesta corta y directa en el mismo idioma que la pregunta.

Lo complicado es que estas imágenes están llenas de información "densa". No son solo fotos de gatos; son páginas de artículos científicos con fórmulas, unidades y texto diminuto. Si la computadora se confunde con el diseño o escribe una explicación larga cuando solo se necesita un número, pierde puntos.

La Estrategia: El Truco de "Calificar, no Escribir"

Para la parte de opción múltiple, el equipo se dio cuenta de que dejar que la computadora escribiera una frase como "La respuesta es la A porque..." era peligroso. La computadora podría obtener la letra correcta pero envolverla en demasiado texto adicional, confundiendo al sistema de calificación.

En su lugar, cambiaron el juego. Le pidieron a la computadora que mirara las opciones A, B, C, D y E y simplemente diera a cada una una "puntuación" basada en qué tan probable era que fuera la correcta. Piensa en ello como un juez de deportes que le da una puntuación de 9.5 a la rutina de un gimnasta en lugar de escribir un párrafo sobre ella. La computadora no tenía que generar texto; solo tenía que calcular qué letra tenía la puntuación más alta. Esto hizo que las respuestas fueran increíblemente limpias y fáciles de combinar. Si ejecutaban la prueba con tres cerebros de computadora diferentes, podían tomar las puntuaciones de los tres, promediarlas y elegir al ganador. Esta "fusión de puntuaciones" (score fusion) les ayudó a obtener una precisión muy alta de 0.7108, situándolos en el tercer lugar general.

El Equipo de Limpieza: Domando a la IA Habladora

Para las preguntas abiertas, el problema era el opuesto. Las computadoras eran demasiado habladoras. Les encanta explicar su razonamiento, decir "Aquí está la respuesta", o usar etiquetas XML elegantes como <answer>. El sistema de calificación, sin embargo, solo quería la respuesta pura.

El equipo trató esto como un editor estricto. Utilizaron un "prompt conciso" que le decía a la computadora: "Deja de pensar en voz alta. Solo dame la respuesta". Luego, pasaron las respuestas por un "equipo de limpieza" (un conjunto de reglas) que eliminaba cualquier palabra extra, trazas de razonamiento o errores de formato. También combinaron las respuestas de varios modelos de computadora diferentes. Si un modelo decía "50 kg" y otro decía "50 kilogramos", el sistema determinaba que eran lo mismo y elegía la mejor opción. Esta cuidadosa limpieza y combinación les ayudó a ganar el primer lugar en la categoría de preguntas abiertas con una puntuación de 0.6488 (medida por una métrica llamada COMET).

Los "No Hacer" Sorprendentes: Lo que No Funcionó

El equipo probó dos cosas que mucha gente piensa que ayudan, pero que en realidad hicieron que las puntuaciones bajaran.

1. La Hoja de Referencia (OCR): Intentaron alimentar a la computadora con una transcripción de texto de la imagen (usando una herramienta llamada OCR) para ayudarla a leer el texto. Pero esto resultó contraproducente. La transcripción a menudo tenía erratas, fórmulas rotas o el orden incorrecto de las palabras. Era como darle a un estudiante una hoja de referencia que estaba llena de errores; confundió a la computadora más que la imagen misma.
2. El Curso Intensivo (Fine-Tuning): Intentaron "enseñar" específicamente a la computadora sobre las preguntas del examen usando un método llamado ajuste fino LoRA. Pensaron que esto la convertiría en una experta. En cambio, la hizo peor. El artículo sugiere que la computadora ya era lo suficientemente inteligente para leer las imágenes, y tratar de reentrenarla con un conjunto de datos pequeño y desordenado solo arruinó sus capacidades naturales.

La Conclusión

La gran lección de este artículo no trata de inventar un nuevo cerebro súper inteligente. Trata de la ingeniería de inferencia, que es una forma elegante de decir "cómo le pedimos a la computadora que haga su trabajo". Los autores descubrieron que un modelo de computadora potente, cuando se le dan reglas estrictas, entradas limpias y un buen proceso de limpieza, puede superar a un modelo ligeramente más inteligente que tiene permitido ser desordenado.

Demostraron que no siempre necesitas hacer la IA más grande o entrenarla más duro. A veces, solo necesitas decirle que se calle, elija la letra correcta y entregue una hoja de respuestas limpia. Al enfocarse en estos detalles prácticos, convirtieron modelos de visión y lenguaje potentes en examinandos de competencia confiables, demostando que a veces la mejor manera de resolver un problema es gestionar la salida, no solo mejorar el motor.