HIPPO: Enhancing the Table Understanding Capability of LLMs through Hybrid-Modal Preference Optimization

Resumen Técnico: HIPPO

1. El Problema

Los datos tabulares son fundamentales para organizar información, pero su comprensión y razonamiento por parte de los Modelos de Lenguaje (LLMs) y Modelos de Lenguaje Multimodales (MLLMs) presentan desafíos significativos:

• Limitaciones de las representaciones unimodales:
  • Texto: Los métodos basados en texto linealizan las tablas (Markdown, CSV, etc.). Aunque son buenos para el razonamiento simbólico y aritmético, a menudo pierden la semántica estructural (alineación de celdas, colores de fondo, bordes) y son sensibles al formato.
  • Imagen: Los métodos basados en imágenes (capturas de pantalla) preservan el diseño visual y la estructura, lo que ayuda a la percepción visual, pero los modelos suelen tener dificultades para realizar operaciones simbólicas precisas (como sumas o búsquedas exactas) o extraer texto legible sin errores.
• Falta de integración efectiva: La investigación previa se ha centrado principalmente en modalidades individuales. No existen métodos robustos que combinen las fortalezas complementarias del texto y la imagen para superar las debilidades específicas de cada una, lo que limita el razonamiento efectivo en tablas complejas.
• Sesgo de modalidad: Los modelos pueden desarrollar una preferencia por una modalidad específica, lo que lleva a errores cuando esa modalidad falla o cuando se requiere información de la otra.

2. Metodología: HIPPO

El artículo propone HIPPO (HybrId-modal Preference oPtimizatiOn), un marco de entrenamiento diseñado para optimizar MLLMs mediante la integración de representaciones híbridas (texto + imagen) utilizando Optimización de Preferencia Directa (DPO).

Componentes Clave:

• Representación Multimodal de Tablas:

  • Se utilizan tres tipos de entradas para el MLLM: solo texto ($L(T)$), solo imagen ($V(T)$) y una combinación de ambos ($L(T) + V(T)$).
  • El texto se representa en formato Markdown, mientras que la imagen es una captura de pantalla de la tabla.

• Muestreo Híbrido de Modalidades:

  • Para cada pregunta y tabla, el modelo genera múltiples respuestas candidatas ($K$ muestras) bajo las tres configuraciones de entrada (solo texto, solo imagen, híbrido).
  • Esto crea un conjunto de respuestas candidato $\tilde{Y}$ que incluye respuestas correctas e incorrectas de todas las modalidades.

• Estrategia de Selección de Negativos Consistente con la Modalidad (Modality-Consistent Negative Selection):

  • Este es el núcleo de la innovación. En lugar de elegir respuestas negativas al azar, HIPPO selecciona la respuesta incorrecta más frecuente a través de todas las modalidades.
  • Lógica: Si un error aparece consistentemente tanto en la entrada de texto como en la de imagen (y en la híbrida), representa un patrón de error estable e invariante a la modalidad. Usar este error como "negativo" en el entrenamiento DPO obliga al modelo a aprender a evitar este error común, mitigando el sesgo hacia una modalidad específica y fomentando la consistencia cruzada.
  • Construcción de Pares de Preferencia:
    • Positivo ($\tilde{y}^+$): La respuesta correcta (Ground Truth).
    • Negativo ($\tilde{y}^-$): La respuesta incorrecta más frecuente en el conjunto híbrido.

• Optimización (DPO):

  • Se aplica DPO para alinear el modelo hacia la respuesta correcta y alejarlo de la respuesta negativa seleccionada, utilizando una función de pérdida que maximiza la probabilidad de la respuesta positiva y minimiza la de la negativa.

3. Contribuciones Clave

1. Marco HIPPO: Un nuevo marco de optimización de preferencia que aprovecha conjuntamente representaciones basadas en texto e imagen para un razonamiento robusto en tablas.
2. Estrategia de Selección de Negativos: Una metodología novedosa que selecciona negativos basados en la consistencia cruzada de modalidades (el error más frecuente), lo que mejora la generalización y reduce el sobreajuste a una sola modalidad.
3. Evaluación Exhaustiva: Demostración de que HIPPO no solo mejora el rendimiento en entornos multimodales, sino que también mejora la capacidad de razonamiento en configuraciones unimodales, actuando como un regularizador que extrae semántica complementaria.

4. Resultados Experimentales

Los experimentos se realizaron en dos tareas principales: Preguntas sobre Tablas (TQA) y Verificación de Hechos en Tablas (TFV), utilizando modelos base como MiniCPM-V-2.6, Qwen2.5-VL y Table-LLaVA.

• Rendimiento General: HIPPO superó consistentemente a las líneas base de LLMs (solo texto) y MLLMs (solo imagen o combinados sin optimización específica).
  • Logró una mejora promedio del 4% sobre diversos modelos de razonamiento en tablas.
  • En el modelo MiniCPM-V-2.6, superó al modelo zero-shot en un 3.6% en TQA y 2.8% en TFV.
• Estudios de Ablación:
  • La selección de negativos basada en la frecuencia cruzada (HIPPO) superó significativamente a la selección aleatoria de negativos y a la DPO estándar, confirmando que la consistencia de la modalidad es crucial.
  • Un número de muestreo ($K$) de 10 por modalidad resultó óptimo; valores más altos introdujeron ruido.
• Consistencia y Diversidad:
  • HIPPO mostró una mayor similitud de Jaccard entre las salidas de modalidades únicas y mixtas, indicando una mayor consistencia en la respuesta independientemente de la entrada.
  • Al mismo tiempo, mantuvo una diversidad de razonamiento (CoT) adecuada, evitando el colapso de modos.
• Recuperación ante Fallos Unimodales:
  • En escenarios donde el modelo fallaba solo con texto o solo con imagen, HIPPO logró recuperar el rendimiento utilizando la modalidad complementaria con mayor eficacia que los métodos SFT (Fine-tuning supervisado) o DPO estándar.

5. Significado e Impacto

El trabajo HIPPO es significativo porque:

• Supera la dicotomía Texto/Imagen: Demuestra que la integración de modalidades no es solo una suma de entradas, sino que requiere una estrategia de entrenamiento (DPO con selección inteligente de negativos) para aprender a compensar las debilidades de una modalidad con las fortalezas de la otra.
• Robustez: Proporciona un método para entrenar modelos que son menos propensos a alucinaciones o errores sistemáticos causados por la falta de información en una sola modalidad.
• Generalización: La capacidad de HIPPO para mejorar el rendimiento incluso en tareas unimodales sugiere que el proceso de entrenamiento multimodal enriquece la representación interna del modelo, haciéndolo más robusto en general.

En conclusión, HIPPO establece un nuevo estado del arte en la comprensión de tablas mediante MLLMs al demostrar que la optimización de preferencias basada en la consistencia cruzada de modalidades es una estrategia superior para el razonamiento estructurado.