💻 computer science

LEGR: Learnable-Edge Graph Refinement for Table Structure Recognition

Este artículo presenta LEGR, un marco de extremo a extremo para el Reconocimiento de la Estructura de Tablas que reemplaza las heurísticas geométricas estáticas con características de aristas relacionales aprendibles y un módulo de refinamiento de Red de Atención de Grafos en cascada para lograr un rendimiento robusto e invariante al dominio mediante la corrección iterativa de predicciones a través del razonamiento de diseño global aprendido.

Autores originales: Saeed Ahmed, Muhammad Mudassir Mehmood, Muhammad Imran Malik, Muhammad Naseer Bajwa, Waheed Ahmed

Publicado 2026-08-25

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Saeed Ahmed, Muhammad Mudassir Mehmood, Muhammad Imran Malik, Muhammad Naseer Bajwa, Waheed Ahmed

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el vasto paisaje de los documentos digitales, las tablas son los trabajadores silenciosos de la información. Organizan informes financieros, datos científicos y registros administrativos en cuadrículas ordenadas de filas y columnas. Para un lector humano, la estructura es obvia; las líneas y el espaciado guían la vista, facilitando la comprensión de cómo un valor en una celda se relaciona con otro. Para una computadora, sin embargo, una tabla es solo una colección caótica de píxeles. Para convertir una imagen de una tabla en datos útiles, el software debe realizar una tarea difícil llamada reconocimiento de la estructura de tablas. Debe determinar qué texto pertenece a la misma fila, cuál pertenece a la misma columna y qué celdas se extienden a través de múltiples espacios. No se trata simplemente de leer las palabras; se trata de comprender la lógica invisible que sostiene la cuadrícula. Sin esta comprensión, una computadora no puede extraer los datos para responder preguntas, analizar tendencias o construir bases de datos.

Durante años, los investigadores han intentado enseñar a las computadoras a ver estas estructuras tratando la tabla como un mapa de conexiones. En esta visión, cada fragmento de texto es un punto en un mapa, y las líneas que los conectan representan relaciones como "al lado de" o "encima de". El desafío siempre ha sido decidir cómo dibujar esas líneas. Los métodos tradicionales dependían de reglas rígidas y preescritas basadas en la geometría. Si dos cuadros de texto estaban cerca uno del otro, la computadora asumía que estaban conectados. Si estaban lejos, la conexión se ignoraba. Este enfoque funcionaba bien para tablas simples y limpias, pero a menudo fallaba ante diseños complejos, con celdas combinadas o bordes ausentes. La computadora seguía un mapa estático que no tenía en cuenta el contexto único de cada documento.

Un equipo de investigadores de la Universidad Nacional de Ciencias y Tecnología de Pakistán ha propuesto un camino diferente hacia adelante. Desarrollaron un sistema llamado LEGR, que significa Refinamiento de Grafo de Bordes Aprendible (Learnable-Edge Graph Refinement). En lugar de usar reglas fijas para decidir qué segmentos de texto están relacionados, LEGR aprende a tomar esas decisiones por sí mismo. Imagine a un estudiante aprendiendo a leer un mapa: al principio, puede seguir un conjunto simple de instrucciones, pero con la práctica, aprende a reconocer patrones y relaciones que no están dibujados explícitamente en la página. LEGR hace algo similar. Comienza con una suposición aproximada sobre la estructura de la tabla y luego mejora iterativamente esa suposición aprendiendo qué conexiones importan más.

El núcleo de este sistema es un cambio de las reglas estáticas al aprendizaje dinámico. En los sistemas anteriores, la computadora observaba dos cuadros de texto y medía la distancia entre ellos. Si la distancia era pequeña, trazaba una línea. LEGR, sin embargo, observa el contenido y el contexto de los cuadros de texto para decidir si pertenecen juntos. Utiliza una tarea de entrenamiento especial donde intenta predecir la diferencia lógica entre dos piezas de texto conectadas. Al hacer esto, el sistema aprende a reconocer que un encabezado en la parte superior de una página y un punto de datos en la parte inferior están relacionados, incluso si están muy separados en el espacio físico. Esto permite al sistema comprender el "sustrato relacional": la lógica subyacente de la tabla, en lugar de solo el diseño físico.

Una vez que el sistema ha aprendido estas relaciones, refina su comprensión a través de un proceso de dos pasos. Primero, realiza una suposición inicial y amplia sobre dónde pertenece cada pieza de texto en la cuadrícula. Luego, pasa esta información a través de una red que permite que las diferentes partes de la tabla "hablen" entre sí. Esta red corrige errores pequeños y resuelve ambigüedades. Si el sistema inicialmente piensa que dos celdas están en la misma fila pero se da cuenta de que no se alinean con el resto de la tabla, puede cambiar de opinión. Esta corrección iterativa ocurre en dos etapas, permitiendo que el sistema primero corrija errores estructurales grandes y luego perfeccione los detalles.

Los investigadores probaron su sistema en varias colecciones grandes de tablas de artículos científicos e informes financieros. En las pruebas estándar, LEGR se desempeñó tan bien como los mejores métodos existentes, logrando una alta precisión en la reconstrucción de la estructura de la tabla. Sin embargo, el hallazgo más significativo surgió cuando probaron el sistema en un tipo de documento completamente nuevo que nunca había visto antes. Sin ningún entrenamiento adicional, el sistema logró una tasa de éxito del 98.46 por ciento en estos datos no vistos. Esto sugiere que el sistema aprendió principios generales de cómo funcionan las tablas, en lugar de simplemente memorizar los diseños específicos de los documentos con los que fue entrenado.

Para demostrar que su enfoque era verdaderamente superior, los investigadores realizaron una serie de experimentos donde intercambiaron su sistema de aprendizaje por métodos tradicionales basados en reglas. Cuando reemplazaron las conexiones aprendidas con un conjunto exhaustivo de reglas geométricas diseñadas a mano, el rendimiento del sistema disminuyó significamente, cayendo aproximadamente cuatro puntos porcentuales. Esto confirmó que la capacidad de aprender las conexiones era la clave del éxito. Además, probaron qué sucedía si conectaban los segmentos de texto de forma aleatoria en lugar de usar un mapa lógico. Sorprendentemente, el rendimiento del sistema apenas cambió. Esto indica que el sistema es tan bueno aprendiendo las relaciones a partir del propio texto que la forma inicial en que se dibujan las conexiones importa muy poco. El sistema puede deducir la estructura correcta independientemente de cómo se haya esbozado el mapa inicialmente.

Las implicaciones de este trabajo se extienden más allá de la lectura de tablas. Demuestra que, para tareas que involucran relaciones estructuradas complejas, aprender las conexiones es más importante que diseñarlas. Al permitir que la computadora descubra la lógica de los datos en lugar de obligarla a seguir un mapa preestablecido, los investigadores han creado una herramienta más robusta y adaptable. Este enfoque podría ayudar eventualmente a las computadoras a comprender otros diseños complejos, como formularios o documentos jerárquicos, donde las relaciones entre los elementos no siempre son obvias. El estudio muestra que cuando se le permite a un sistema aprender las reglas del juego, puede jugar mejor que uno al que simplemente se le dice cómo moverse.

Resumen Técnico: LEGR - Refinamiento de Grafos de Bordes Aprendibles para el Reconocimiento de la Estructura de Tablas

1. Definición del Problema

El Reconocimiento de la Estructura de Tablas (TSR, por sus siglas en inglés) tiene como objetivo convertir imágenes de tablas visuales en estructuras lógicas legibles por máquina (índices de filas/columnas y extensiones). Si bien la estructura física (cajas delimitadoras) puede obtenerse mediante OCR convencional, inferir la estructura lógica es un problema relacional complejo.

Los enfoques actuales de TSR basados en grafos tratan las celdas como nodos y las relaciones espaciales como aristas. Sin embargo, estos métodos sufren dos limitaciones principales:

Construcción de Grafos Estática: Dependen de heurísticas geométricas diseñadas a mano (por ejemplo, $k$ -vecinos más cercanos basados en los centroides de las cajas delimitadoras) para definir la conectividad del grafo y las características de las aristas. Esto fija el sustrato relacional antes de que comience el aprendizaje, lo que impide que el modelo capture dependencias no locales (por ejemplo, la alineación de cabecera a celda a través de filas largas) o que maneje eficazmente diseños sin bordes o con celdas que abarcan múltiples filas/columnas.
Predicción de Paso Único: La mayoría de los procesos de ejecución predicen la estructura final en una sola pasada hacia adelante, careciendo de un mecanismo para revisar las estimaciones iniciales una vez que se ha ensamblado una visión global de la tabla.

2. Metodología: Marco de Trabajo LEGR

LEGR (Refinamiento de Grafos de Bordes Aprendibles) es un marco de extremo a extremo que aprende la estructura del grafo relacional y refina las predicciones de forma iterativa. La arquitectura consta de cuatro bloques funcionales:

2.1 Codificación Visual y de Nodos

Backbone Visual: Un Swin Transformer genera una pirámide de características de cuatro niveles. Estas se fusionan mediante una Red de Atención de Pirámide de Núcleo Grande (LKPAN) para producir un mapa de características unificado de paso (stride) 4 ( $FFPN$ ) para la preservación fina de bordes y un mapa de contexto global de paso 32 ( $C_4$ ).
Embeddings de Nodos: Para cada caja delimitadora detectada por OCR, se construye un embedding inicial ( $h_i^{in}$ $h_{i}^{in}$ ) fusionando:
- Características visuales (mediante RoIAlign sobre $FFPN$ ).
- Embeddings geométricos aprendibles de las coordenadas de la caja delimitadora.
- Codificaciones posicionales sinusoidales 2D absolutas.
Codificador de Contexto: Un codificador basado en Transformer procesa estos embeddings utilizando auto-atención (para dependencias entre segmentos) y atención cruzada (inyectando contexto global desde $C_4$ ). Esto produce características de nodos contextualizadas ( $H_0$ ).

2.2 Aprendizaje de Aristas Relacionales

En lugar de heurísticas estáticas, LEGR emplea un Aprendiz de Aristas Relacionales:

Construcción del Grafo: Durante el entrenamiento, se muestrea un vecindario para cada nodo que comprende tanto vecinos geométricamente cercanos como vecinos aleatorios de largo alcance para evitar el sobreajuste a la geometría local.
Características de las Aristas: Las características de las aristas se generan mediante un Codificador de Contexto compartido y una Cabeza de Arista (MLP). El vector de características para una arista $(v_i, v_j)$ concatena los embeddings de los nodos, su diferencia y su producto elemento a elemento.
Supervisión Auxiliar: La Cabeza de Arista es supervisada por una tarea auxiliar: predecir la diferencia de coordenadas lógicas (desplazamientos con signo para el inicio/fin de fila y columna) entre los nodos conectados. Esto obliga a la red a aprender características relacionales conscientes del contexto en lugar de simplemente copiar los desplazos de coordenadas brutos.

2.3 Refinamiento Iterativo en Cascada

LEGR reemplaza la predicción de paso único con un módulo de refinamiento en cascada de dos etapas utilizando Redes de Atención de Grafos (GAT):

Etapa 1: Una Cabeza de Nodo produce logits iniciales gruesos ( $L_0$ ). Estos se fusionan con las características de los nodos y se pasan a través de una GAT ( $GAT_1$ ) para predecir un delta correctivo ( $\delta L_1$ ). Los logits refinados son $L_1 = L_0 + \delta L_1$ .
Etapa 2: El proceso se repite con una segunda GAT ( $GAT_2$ ) que opera sobre las características de la Etapa 1 y la estimación actual $L_1$ , produciendo una corrección final $\delta L_2$ y los logits $L_2 = L_1 + \delta L_2$ .
Este enfoque de grueso a fino permite al modelo resolver primero ambigüedades estructurales a gran escala y luego realizar ajustes locales finos.

2.4 Objetivo de Entrenamiento

El modelo se entrena con una función de pérdida compuesta:
$\mathcal{L}_{total} = (1 - \lambda) \mathcal{L}_{coord} + \lambda (\alpha \mathcal{L}_{aux} + \beta \mathcal{L}_{edge})$
Donde $\mathcal{L}_{coord}$ agrega pérdidas de entropía cruzada para la etapa inicial y las dos de refinamiento, $\mathcal{L}_{aux}$ es una pérdida contrastiva de múltiples positivos para agrupar segmentos que pertenecen a la misma celda, y $\mathcal{L}_{edge}$ es la pérdida de entropía cruzada para la predicción de la diferencia de coordenadas.

3. Contribuciones Clave

Características de Arista Aprendibles: Reemplaza las heurísticas geométricas estáticas con un aprendiz de aristas relacionales supervisado por una tarea auxiliar de diferencia de coordenadas lógicas. Esto permite capturar dependencias no locales y relaciones conscientes del contexto.
Refinamiento en Cascada: Introduce un módulo de refinamiento basado en GAT de dos etapas que corrige iterativamente las predicciones iniciales, permitiendo que el modelo razone globalmente y se autocorrija localmente.
Razonamiento Invariante al Dominio: Demuestra que el aprendizaje del sustrato relacional produce representaciones que generalizan bien entre dominios sin necesidad de ajuste fino.

4. Resultados Experimentales

LEGR fue evaluado en tres benchmarks: PubTabNet (artículos científicos), FinTabNet (reportes financieros) y SciTSR (artículos científicos).

Rendimiento Intra-dominio (PubTabNet y FinTabNet):
- En PubTabNet, LEGR alcanzó un TEDS-S de 97.91, situándose segundo solo después de TFLOP (98.38) entre los métodos de vanguardia, a pesar de utilizar una arquitectura no autorregresiva.
- En FinTabNet, LEBR alcanzó un TEDS-S de 99.10, también segundo después de TFLOP (99.56).
- Notablemente, LEGR logra estos resultados sin un decodificador HTML autorregresivo, ofreciendo un costo de inferencia constante relativo al tamaño de la tabla.
Generalización entre Dominios (SciTSR):
- En un entorno zero-shot (entrenado en PubTabNet, probado en SciTSR sin ajuste fino), LEGR alcanzó un F1 score de 98.46. Esto se encuentra a 0.84 puntos de los métodos de vanguardia totalmente supervisados (por ejemplo, LORE con 99.30), demostrando una fuerte invarianza de dominio.
- Con ajuste fino, LEGR alcanzó un F1 de 99.39, superando a los métodos basados en grafos previos.
Comparación con Métodos Basados en Grafos:
- LEGR supera significativamente a los métodos basados en grafos anteriores como NCGM y GraphTSR. En PubTabNet, mejora el TEDS-S en 2.51 puntos respecto a NCGM. En SciTSR, mejora el F1 en 5.99 puntos respecto a GraphTSR.

5. Estudios de Ablación y Análisis

Aristas Aprendidas vs. Diseñadas a Mano: Reemplazar las características de arista aprendidas con una línea base exhaustiva diseñada a mano (PCEF) causó una caída de aproximadamente 4.0 puntos en TEDS en FinTabNet (de 99.10 a 95.13). Esto confirma que las características relacionales para diseños complejos no son expresables como funciones fijas de las cajas delimitadoras.
Robustez de la Adyacencia del Grafo: Randomizar la adyacencia del grafo de entrada (reemplazando $k$ -NN por conexiones aleatorias) resultó en una pérdida de rendimiento insignificante (<0.15 puntos). Esto indica que el trabajo pesado ocurre dentro de la Cabeza de Arista aprendida y las GAT, no en la elección específica de los vecinos.
Etapas de Refinamiento: La segunda etapa de refinamiento mejoró consistentemente el rendimiento sobre la primera, confirmando el valor de la corrección iterativa.
Predicción de Diferencia vs. Afinidad: La supervisión de las aristas mediante diferencias de coordenadas superó a una formulación alternativa basada en afinidad (predicción de probabilidades de misma fila/columna), debido a que evita conflictos de optimización entre restricciones competitivas.

6. Significancia y Reivindicaciones

El artículo afirma que aprender el sustrato relacional es más crítico que diseñarlo. La tesis central es que las heurísticas geométricas estáticas son insuficientes para capturar las complejas dependencias no locales inherentes a las estructuras de tablas.

Robustez: La capacidad de LEGR para transferirse al conjunto de datos no visto SciTSR en un entorno zero-shot demuestra que el razonamiento relacional aprendido captura pistas invariantes al dominio (qué hace que dos segmentos compartan una fila/columna) en lugar de memorizar estadísticas de diseño específicas del conjunto de datos.
Eficiencia: Al evitar los decodificadores autorregresivos, LEGR ofrece una ruta de inferencia más eficiente para tablas grandes manteniendo una precisión competitiva.
Cambio de Paradigma: El trabajo sugiere que los grafos refinados iterativamente con aristas aprendidas ofrecen una alternativa viable a la predicción estructurada autorregresiva para datos jerárquicos y tabulares, con potencial de extenderse al análisis de diseño y comprensión de formularios.

Los autores reconocen limitaciones respecto a tablas con ruido, escaneadas o capturadas por cámara, y asumen segmentos de OCR fiables, identificando estos como áreas para trabajos futuros.