Active Learning for Cascaded Object Detection: Balancing Coverage and Uncertainty in Table Extraction Pipelines

Resumen Técnico: Aprendizaje Activo para la Detección de Objetos en Cascada en la Extracción de Tablas

Definición del Problema
La extracción de tablas de documentos comerciales suele depender de un flujo de trabajo en cascada que consta de dos etapas: la Detección de Tablas (TD, por sus siglas en inglés), que localiza las tablas dentro de una página de un documento, y el Reconocimiento de la Estructura de la Tabla (TSR), que recupera el diseño interno (filas, columnas, encabezados) de las regiones detectadas. La construcción de conjuntos de entrenamiento para este flujo de trabajo es costosa, particularmente para el TSR, que requiere anotaciones estructurales detalladas en comparación con el cuadro delimitador único requerido para la TD. Si bien el Aprendizaje Activo (AL) ofrece un enfoque fundamentado para reducir la carga de anotación mediante la selección de muestras más informativas, las estrategias existentes están diseñadas principalmente para tareas de un solo modelo. Estas no logran considerar las dependencias estructurales en arquitecturas en cascada, donde el rendimiento del TSR está estrictamente limitado por la calidad de las predicciones de la etapa ascendente (TD). Además, las dos etapas difieren en el alcance de la entrada (página completa frente a tabla recortada) y en la complejidad de la tarea, lo que sugiere que pueden requerir señales de entrenamiento distintas y que no mejoran a la misma velocidad a medida que se añaden datos.

Metodología
Los autores adaptan el Uncertainty Herding (UHerding), un método de muestreo híbrido que equilibra la cobertura (diversidad) y la incertidumbre, al entorno de la extracción de tablas en cascada. La adaptación central consiste en modificar los componentes de cobertura e incertidumbre para manejar múltiples etapas con espacios de incrustación (embeddings) distintos.

1. Adaptación de la Generalización de UHerding:

   • Incrustación (Embedding): En lugar de características de imágenes naturales, se utiliza un codificador de imágenes de documentos preentrenado (DiT) para generar representaciones a nivel de documento.
   • Incertidumbre: Se deriva una señal de incertidumbre combinada a partir de las puntuaciones de confianza de los modelos TD y TSR. Si las predicciones caen por debajo de un umbral, la incertidumbre por defecto es 1.
   • Calibración: Para manejar la falta de formulaciones estándar del Error de Calibración Esperado (ECE) para la detección de objetos, los autores utilizan la correlación de Spearman entre la incertidumbre y el error de predicción (GriTS-Con F1) en un conjunto de validación para ajustar dinámicamente la influencia de la incertidumbre frente a la cobertura.

2. Extensiones Conscientes de la Tubería (Pipeline-Aware):
   Reconociendo que tratar las etapas de forma simétrica es subóptimo, se proponen dos extensiones:

   • RankFusion: Este enfoque introduce una cobertura de doble manifold. Emplea un segundo codificador (reutilizando las características de TSR) para generar representaciones a nivel de tabla. La cobertura se calcula de forma independiente en los espacios a nivel de documento y a nivel de tabla. En lugar de sumar puntuaciones (lo que requeriría normalización entre diferentes escalas), el método convierte las ganancias de cobertura en rangos y las fusiona utilizando Reciprocal Rank Fusion (RRF). Mantiene una señal de incertidumbre compartida y un parámetro de calibración.
   • CAPA (Calibrated and Pipeline-Aware): Este método relaja aún más los supuestos de simetría mediante el modelado explícito de la dependencia TD-a-TSR:
     • Ponderación Adaptativa: Los pesos de fusión ($\beta$) se ajustan dinámicamente según el rendimiento de validación de cada etapa. Si la TD es el cuello de botella, el peso se desplaza hacia el manifold de la TD; si la TD es fiable, el peso se desplaza hacia el TSR.
     • Puerta Dependiente de la Etapa (Stage-Dependent Gating): La incertidumbre del TSR se suprime para documentos donde la confianza de la TD es baja, evitando la selección de muestras para la anotación estructural cuando la tabla en sí no ha sido detectada.
     • Calibración por Tarea: Se computan parámetros de calibración separados ($\tau_{td}, \tau_{tsr}$) para cada etapa basándose en sus correlaciones específicas de incertidumbre-error.

Configuración Experimental
Los métodos fueron evaluados en cuatro conjuntos de datos: dos públicos (PubTables-1M, FinTabNet) y dos privados (invoice-int, business-int). El alcance se restringió a documentos de una sola tabla sin celdas que abarquen varias filas o columnas (spanning cells) para aislar el efecto de la estrategia de muestreo. Los experimentos utilizaron detectores D-FINE-X para ambas etapas, reentrenados desde cero en cada iteración de AL. La evaluación cubrió presupuestos de anotación que van desde 71 hasta 500 documentos, con resultados promediados sobre 10 semillas aleatorias. El rendimiento se midió utilizando el Área Bajo la Curva (AUC) normalizada de las curvas de aprendizaje medianas basadas en la métrica GriTS-Con F1.

Resultados Clave

• Generalización: La estrategia UHerding adaptada superó a las líneas de base de señal única (cobertura pura vía MaxHerding e incertidumbre pura vía Confidence) en todos los conjuntos de datos, confirmando que el muestreo híbrido generaliza bien a la detección en cascada.
• Rendimiento Consciente de la Tubería (Pipeline-Aware):
  • RankFusion alcanzó el AUC medio más alto (65.74%), destacando especialmente en el conjunto de datos business-int, donde la cobertura de doble manifold amplificó las señales de diversidad. Sin embargo, exhibió una mayor varianza y funcionó de forma menos consistente en PubTables-1M, donde el alto rendimiento del modelo hizo que la incertidumbre fuera la señal dominante.
  • CAPA surgió como la estrategia más consistente, superando a la línea de base de UHerding adaptado en tres de los cuatro conjuntos de datos. Logró los mejores resultados en FinTabNet (70.52% AUC) y mantuvo un nivel mínimo elevado (nunca clasificó por debajo del 4.º lugar), lo que lo convierte en una opción robusta cuando se desconoce el cuello de botella específico de un conjunto de datos objetivo.
• Dinámica del Cuello de Botella: El análisis reveló que el cuello de botella del rendimiento (TD vs. TSR) depende del conjunto de datos. Se confirmó visualmente, mediante el análisis de cobertura del espacio de incrustación, la capacidad de CAPA para reasignar la cobertura hacia la etapa que actúa como cuello de botella (por ejemplo, desplazando el enfoque hacia el TSR cuando la detección es fiable).

Significancia y Contribuciones
El artículo reclama tres contribuciones principales:

1. Primera Adaptación de UHerding: Presenta la primera aplicación de Uncertainty Herding a un flujo de detección de objetos en cascada, yendo más allá de la clasificación de imágenes de un solo modelo.
2. Extensiones Conscientes de la Tubería: Introduce RankFusion y CAPA, que explotan explícitamente la dependencia entre etapas de detección y reconocimiento de estructura. CAPA, en particular, demuestra que el filtrado dinámico de la incertidumbre y la ponderación de la cobertura basadas en la fiabilidad de la etapa producen mejoras consistentes.
3. Validación Empírica: A través de una evaluación exhaustiva en diversos dominios y presupuestos de anotación, el trabajo establece un compromiso entre la ganancia esperada (RankFusion) y la consistencia (CAPA).

Los autores concluyen que el cuello de botella entre las etapas de la tubería moldea las preferencias de la estrategia más que la función de adquisición en sí misma. Sugieren que este marco es generalizable a cualquier tarea de detección en cascada con dependencias secuenciales, donde el "dónde" ocurre el fallo es tan importante como el "cómo" de la selección de muestras. El trabajo no pretende resolver escenarios complejos de múltiples tablas o celdas que abarcan varias filas/columnas, señalándolos como limitaciones para investigaciones futuras.