Winner Team Mia at TextVQA Challenge 2021: Vision-and-Language Representation Learning with Pre-trained Sequence-to-Sequence Model

Resumen Técnico: Team Mia en el TextVQA Challenge 2021

Título original: Team Mia at TextVQA Challenge 2021: Vision-and-Language Representation Learning with Pre-trained Sequence-to-Sequence Model

1. El Problema

El desafío TextVQA consiste en desarrollar modelos capaces de leer y razonar sobre el texto presente en imágenes para responder preguntas relacionadas. Este problema es complejo porque requiere la integración de dos modalidades distintas: la visión (para detectar objetos y texto en la escena) y el lenguaje (para comprender la pregunta y generar una respuesta coherente). El modelo debe ser capaz de localizar el texto relevante, extraerlo y realizar un proceso de razonamiento lógico para llegar a la respuesta correcta.

2. Metodología

El equipo Mia propone un enfoque basado en un modelo generativo de tipo secuencia a secuencia (Seq2Seq), utilizando específicamente el modelo T5-3B (preentrenado) de HuggingFace como base. Su metodología se divide en tres etapas principales:

A. Etapa de Preentrenamiento (Pre-training):
Para mejorar la alineación entre las características visuales y el texto de la escena, diseñaron dos tareas adicionales de preentrenamiento sobre un dataset masivo de 9 millones de imágenes con texto de escena (combinando datos reales y sintéticos):

• Masked Language Modeling (MLM): Similar a BERT, donde se enmascaran tokens de texto con una probabilidad del 15% para que el modelo aprenda a reconstruirlos.
• Relative Position Prediction (RPP): Una tarea diseñada para que el modelo aprenda la relación espacial, prediciendo la posición relativa entre las características visuales de la escena y las de los objetos.
• Arquitectura de Fusión: El codificador (encoder) se encarga de fusionar múltiples modalidades: texto de la pregunta, etiquetas de texto de objetos, etiquetas de texto de la escena, características visuales de objetos y características visuales de la escena.
• Entrenamiento Adversario: Implementaron una estrategia de entrenamiento adversario en el espacio de embeddings de cada modalidad (en lugar de añadir ruido a los píxeles o tokens) junto con una regularización basada en la divergencia KL para mejorar la invarianza de las representaciones.

B. Etapa de Ajuste Fino (Fine-tuning):
El modelo preentrenado se ajustó utilizando exclusivamente el dataset de TextVQA. En esta fase, el decodificador predice la respuesta paso a paso utilizando una pérdida de clasificación de respuestas y la estrategia de entrenamiento adversario mencionada anteriormente.

C. Módulo de Post-procesamiento:
Para refinar las respuestas generadas, utilizaron el método de coincidencia difusa (fuzzy string matching) fuzzywuzzy, el cual emplea la Distancia de Levenshtein para corregir y ajustar las secuencias de texto finales.

3. Contribuciones Clave

• Uso de un modelo de lenguaje masivo como base: Aprovechar la capacidad de razonamiento de T5-3B para tareas de visión-lenguaje.
• Diseño de tareas de alineación multimodal: La introducción de RPP (predicción de posición relativa) para conectar la visión con el texto.
• Escalabilidad de datos: La creación de un dataset de preentrenamiento de 9 millones de imágenes para fortalecer la capacidad de lectura de texto en escenas complejas.
• Entrenamiento adversario en el espacio de embeddings: Una técnica eficiente para mejorar la robustez de las representaciones multimodales.

4. Resultados y Conclusiones

El equipo logró un rendimiento altamente competitivo en el desafío TextVQA 2021. Sus experimentos permitieron extraer varias conclusiones críticas para el campo:

• El preentrenamiento con objetivos de contraste de emparejamiento imagen-texto en grandes volúmenes de datos genera ganancias significativas.
• El desarrollo de "negativos difíciles" (hard-negatives) para estos objetivos mejora el rendimiento.
• El uso de modelos de procesamiento de lenguaje natural (NLP) preentrenados es una base fundamental para el éxito en tareas de VQA con texto.
• Identificaron que todavía existe un margen de mejora considerable en la capacidad del modelo para responder preguntas que requieren múltiples palabras.

5. Significado

Este trabajo es significativo porque demuestra que la transición de modelos puramente discriminativos a modelos generativos de gran escala (como T5) es una ruta prometedora para resolver tareas de comprensión visual de texto. Además, subraya la importancia de la alineación espacial y semántica entre los objetos visuales y el texto detectado para lograr un razonamiento multimodal profundo.