💻 computer science

Assessing Y-Axis Influence: Bias in Multimodal Language Models on Chart-to-Table Translation

Este artículo presenta el marco FairChart2Table para revelar que los Modelos de Lenguaje Multimodales exhiben sesgos significativos en el rendimiento relacionados con las características del eje y (como la longitud de los dígitos, la cantidad de marcas y el rango de valores) y la complejidad de la leyenda en la traducción de gráficos a tablas, al tiempo que demuestra que proporcionar información explícita del eje y puede mitigar estas disparidades.

Autores originales: Seok Hwan Song, Azher Ahmed Efat, Wallapak Tavanapong

Publicado 2026-04-29

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Seok Hwan Song, Azher Ahmed Efat, Wallapak Tavanapong

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un chef robot (un Modelo de Lenguaje Multimodal, o MLM) cuyo trabajo es observar una imagen de un gráfico y escribir la receta (la tabla de datos) exactamente tal como aparece. ¿Esperarías que este robot fuera perfecto, verdad?

Este artículo dice: No tan rápido. El robot es en realidad muy exigente con la forma en que se escriben los números en la regla vertical del gráfico (el eje y). Si la regla tiene un aspecto determinado, el robot prepara una comida excelente. Si tiene un aspecto ligeramente diferente, el robot quema la comida.

Aquí tienes el desglose de sus hallazgos utilizando analogías simples:

1. El Problema: El Robot Tiene "Puntos Ciegos"

Los investigadores notaron que los gráficos en los que se entrenaron los robots estaban desequilibrados. Era como entrenar a un chef solo con recetas que usan tazas de harina, pero nunca enseñarle sobre cucharadas. Cuando el chef finalmente vio una cucharada, se confundió.

En el mundo de los gráficos, los "ingredientes" son cosas como:

Longitud de Dígito: ¿Es el número "5" o "5.000.000"?
Marcas de la Regla: ¿Hay 3 líneas en la regla o 11?
Formatos: ¿Se escriben los números como "7.000", "7K" o "7.00e+3"?

El artículo encontró que los robots rinden mal cuando estos ingredientes específicos cambian, incluso si los datos reales son los mismos.

2. La Solución: Una "Cocina de Pruebas Justa" (FairChart2Table)

Para demostrar esto, los investigadores construyeron una nueva cocina de pruebas supercontrolada llamada FairChart2Table.

La Configuración: En lugar de usar gráficos reales y desordenados, generaron miles de gráficos sintéticos perfectos.
El Control: Cambiaron solo una cosa a la vez. Por ejemplo, tomaron exactamente los mismos datos y crearon un gráfico con números como "1, 2, 3" y otro con "1.000, 2.000, 3.000".
El Objetivo: Ver exactamente qué característica específica de la regla hace que el robot tropiece.

3. Hallazgos Clave: ¿Qué hace Tropezar al Robot?

A. La "Tamaño" de los Números (Longitud de Dígito)
Piensa en la longitud de los dígitos como el tamaño de la fuente en la regla.

El Hallazgo: Los robots se confunden cuando los números se vuelven muy largos (como 15 o 16 dígitos). Es como intentar leer un menú donde los precios están escritos en un texto microscópico diminuto. Algunos robots (como GPT-4o) se volvieron extremadamente desordenados con números muy largos, mientras que otros (como Gemini) lo manejaron mejor pero aún así tuvieron dificultades.

B. La "Multitud" en el Gráfico (Número de Entidades)
Imagina un gráfico con una línea (una entidad) frente a un gráfico con seis líneas cruzándose entre sí como un plato de espaguetis.

El Hallazgo: A medida que las líneas se vuelven más abarrotadas, los robots comienzan a confundirlas. Podrían decir: "Este punto pertenece a la Línea Roja", cuando en realidad pertenece a la Línea Azul. Cuantas más líneas haya, más probable es que el robot intercambie las respuestas.

C. El "Estilo" de la Regla (Formatos y Marcas)

El Hallazgo: Los robots odian las abreviaturas. Si escribes "1 Millón" como "1M" o "1.000.000", algunos robots se pierden. También tienen dificultades si la regla tiene muy pocas marcas (3 marcas) en comparación con muchas marcas (11 marcas). Es como intentar adivinar la temperatura con un termómetro que solo tiene "Caliente" y "Frío" escritos en él, en comparación con uno donde cada grado individual está marcado.

4. El Truco de Magia: Darle al Robot una Hoja de Respuestas

Los investigadores preguntaron: "¿Qué pasaría si simplemente le decimos al robot lo que dice la regla?"

El Experimento: Dieron a los robots una instrucción que enumeraba explícitamente los números en el eje y (por ejemplo, "La regla va de 0 a 100 en pasos de 10").
El Resultado: Funcionó como magia para algunos robots. Su rendimiento aumentó significativamente. Es como entregarle una regla al chef para que no tenga que adivinar las medidas. Sin embargo, esto no ayudó a todos los robots por igual; algunos ya estaban bien, y otros aún tenían dificultades con formatos específicos como las abreviaturas.

5. Nuevas Herramientas para el Trabajo

El artículo también inventó nuevas formas de calificar a los robots.

Calificación Antigua: Solía verificar solo si el número estaba cerca.
Nueva Calificación (TBE): Se dieron cuenta de que estar fuera por "200 puntos" parece muy diferente dependiendo del gráfico. Si el gráfico va de 0 a 1.000, estar fuera por 200 es un error enorme. Si el gráfico va de 0 a 1.000.000, estar fuera por 200 es insignificante. Su nueva métrica mide los errores basándose en las "líneas de la cuadrícula" del gráfico, que es una forma más justa de juzgar si el robot realmente vio el gráfico correctamente.

Resumen

El artículo concluye que los Modelos de Lenguaje Multimodal aún no son perfectos para leer gráficos porque están sesgados por la forma en que se presentan los números en el eje vertical. Rinden bien en algunos estilos pero fallan en otros. Al crear un campo de pruebas justo y dar a los modelos un poco de ayuda (instruyéndolos con los valores del eje), podemos ver exactamente dónde fallan y ayudarlos a mejorar.

Nota: El artículo no afirma que estos robots se utilicen actualmente para diagnósticos médicos o trading financiero; se centra estrictamente en el rendimiento técnico de traducir imágenes de gráficos en tablas de datos.

A continuación se presenta un resumen técnico detallado del artículo "Evaluando la Influencia del Eje Y: Sesgo en Modelos de Lenguaje Multimodal en la Traducción de Gráficos a Tablas."

1. Declaración del Problema

Los Modelos de Lenguaje Multimodal (MLM) se utilizan cada vez más para traducir imágenes de gráficos a datos tabulares estructurados (traducción de Gráfico a Tabla). Si bien investigaciones anteriores han estudiado sesgos en los MLM relacionados con la complejidad del gráfico, los esquemas de color y los tamaños de fuente, existe una brecha significativa en la comprensión de cómo la información específica del eje Y afecta el rendimiento del modelo.

Los autores identifican que los conjuntos de datos públicos (por ejemplo, PlotQA, ChartQA) sufren de desequilibrios severos en cuanto a las características del eje Y, tales como:

Longitud de dígitos: El número de dígitos en la parte entera del valor máximo del eje Y.
Configuraciones de marcas: El número de marcas principales y el rango de valores.
Formatos de valores: El uso de abreviaturas (K, M, B), notación científica o comas.

Estos desequilibrios generan sesgos no deseados donde los modelos funcionan bien en configuraciones específicas del eje Y pero no logran generalizar a otras. Además, las métricas de evaluación existentes (como RMSF1) a menudo no capturan errores visualmente significativos, como desviaciones mayores que el intervalo de una marca menor, lo que conduce a evaluaciones poco fiables.

2. Metodología: El Marco FairChart2Table

Para abordar estas brechas, los autores proponen FairChart2Table, un marco controlado por sesgos que consta de un nuevo conjunto de datos de referencia y métricas de evaluación novedosas.

A. Construcción del Conjunto de Referencia

El marco genera un conjunto de datos sintético utilizando la biblioteca de trazado Bokeh para garantizar un control estricto sobre las variables. El conjunto de datos se divide en cuatro subconjuntos (Partes A–D) para aislar sesgos específicos:

Parte A (Longitud de Dígitos): Genera 3.060 imágenes variando la longitud de los dígitos de los valores del eje Y (0–16) y el número de entidades (1–6).
Parte B (Marcas Principales): Compara el rendimiento con 3, 6 y 11 marcas principales.
Parte C (Rango de Valores): Prueba tres escenarios de rango:
- Positivo (Pos): Origen desplazado hacia arriba (todos los valores positivos).
- Negativo (Neg): Origen desplazado hacia abajo (todos los valores negativos).
- Extendido (Ext): El rango de datos se duplica, empujando los valores hacia la parte inferior.
Parte D (Formatos Numéricos): Prueba números simples, comas, abreviaturas (K, M, B, T) y notación científica.

Todos los demás elementos visuales (títulos, fuentes, colores, eje X) se estandarizan para evitar factores de confusión.

B. Nuevas Métricas de Evaluación

Los autores critican la métrica estándar RMSF1 por no penalizar adecuadamente los errores visualmente notables. Proponen métricas de Error Basado en Marcas (TBE):

$DTBE$ (Distancia Basada en Marcas): Normaliza el error absoluto ( $|g - p|$ ) dividiéndolo por el intervalo de la marca menor ( $t$ ), en lugar del valor de la verdad fundamental.
$DTBE(g, p) = \min\left(1, \frac{|g - p|}{t}\right)$
$RMSTBE_{F1}$ : Una variante de la puntuación F1 que utiliza $DTBE$ para la alineación numérica, eliminando penalizaciones de encabezado para centrarse en la precisión de los datos.
$RMSTBE_{F1}$ -Sig: Se centra únicamente en desviaciones "significativas" donde el error excede el intervalo de la marca menor.
SES (Puntuación de Error de Intercambio): Mide errores estructurales donde los valores se extraen correctamente pero se asignan a la entidad incorrecta (común en líneas que se cruzan), calculado como la diferencia entre una puntuación de emparejamiento de costo mínimo y la $RMSTBE_{F1}$ estándar.

3. Configuración Experimental

El marco se utilizó para evaluar cinco modelos de última generación:

Código Cerrado: GPT-4o, Gemini-2.0-flash.
Código Abierto: Pixtral-12B.
Especializado/Supervisado: DePlot (específico de gráfico a tabla), ChartGemma y TinyChart (comprensión general de gráficos).

Los experimentos involucraron pruebas estadísticas emparejadas (rango de signos de Wilcoxon) para comparar el rendimiento entre diferentes configuraciones de sesgo.

4. Resultados y Hallazgos Clave

RQ1: Impacto de la Información del Eje Y

Longitud de Dígitos: El rendimiento generalmente se degrada a medida que aumenta la longitud de los dígitos.
- DePlot y TinyChart muestran caídas significativas en longitudes de dígitos más altas (por ejemplo, 11, 15, 16).
- GPT-4o tiene el peor rendimiento en general y exhibe un fuerte sesgo en contra de las longitudes de dígitos altas.
- Gemini es el más robusto, pero aún muestra una tendencia a la baja.
Marcas Principales: Todos los modelos tienen el peor rendimiento con 3 marcas principales. Los modelos de código cerrado (Gemini, GPT-4o) mejoran con 11 marcas, mientras que los modelos de código abierto no muestran una tendencia uniforme.
Rango de Valores:
- DePlot tiene dificultades con orígenes negativos y rangos extendidos.
- TinyChart destaca cuando el eje cruza en cero, pero falla con orígenes desplazados.
- Gemini se mantiene consistente en la mayoría de los rangos, pero cae significativamente con rangos extendidos.
Formatos Numéricos:
- Las Abreviaturas (K, M, B, T) causan caídas dramáticas en el rendimiento para casi todos los modelos (por ejemplo, TinyChart cae de ~80% a ~26%).
- La Notación Científica también afecta negativamente a muchos modelos, aunque DePlot y TinyChart la manejan mejor que las abreviaturas.

RQ2: Otros Factores (Entidades y Tipos de Gráficos)

Número de Entidades: A medida que aumenta el número de entidades (1–6), el rendimiento generalmente disminuye debido a una mayor probabilidad de cruces de líneas.
- Puntuaciones SES: Modelos como DePlot y TinyChart muestran altos errores de intercambio (confundir entidades) con 5–6 entidades.
- Gemini y Pixtral son más robustos frente al aumento en la cantidad de entidades.
Tipos de Gráficos: Cuando los datos subyacentes son idénticos, las diferencias de rendimiento entre gráficos de líneas, puntos y barras son estadísticamente significativas, pero menos pronunciadas que los sesgos del eje Y.

RQ3: Impacto de la Solicitud con Pistas del Eje Y

Proporcionar valores de marcas del eje Y explícitos como parte de la solicitud mejora significativamente el rendimiento en algunos modelos.
Pixtral vio ganancias que oscilaron entre 0.94% y 26.60%.
Gemini mostró una mejora dramática (de 46.54% a 61.32%) específicamente al manejar formatos abreviados, lo que sugiere que la pista ayuda a descifrar formatos no estándar.

5. Significado y Contribuciones

Identificación de Sesgos Ocultos: El artículo revela sistemáticamente que las características del eje Y (longitud de dígitos, cantidad de marcas, formatos) son fuentes importantes, previamente no examinadas, de sesgo en los MLM.
Marco FairChart2Table: Un conjunto de referencia reproducible y una metodología para generar conjuntos de datos controlados por sesgos, permitiendo a los investigadores aislar variables específicas.
Métricas Mejoradas: La introducción de métricas basadas en TBE ( $RMSTBE_{F1}$ ) proporciona una evaluación visualmente más precisa de los errores de traducción de gráficos a tablas en comparación con las métricas basadas en texto tradicionales.
Perspectivas Prácticas: El estudio demuestra que la ingeniería de solicitudes (proporcionar pistas del eje Y) puede mitigar sesgos específicos, particularmente para manejar abreviaturas y longitudes de dígitos complejas.

6. Limitaciones

El conjunto de datos es sintético (generado mediante Bokeh) y no incluye imágenes de gráficos ruidosos del mundo real.
Todo el texto (gráficos y leyendas) está en inglés.
El estudio se centra exclusivamente en los sesgos del eje Y, no en otros elementos del gráfico.

Conclusión

Los autores concluyen que los MLM actuales son altamente sensibles a las configuraciones del eje Y, fallando a menudo en datos con longitudes de dígitos altas o formatos no estándar. El marco FairChart2Table proporciona una herramienta necesaria para desarrollar modelos más robustos y libres de sesgos para la comprensión de gráficos, y sugiere que el contexto explícito del eje Y puede ser una palanca poderosa para mejorar la precisión del modelo.