Double Triangle Annotation: A Scalable Human-in-the-Loop Framework for High-Precision Historical Document Annotation

Resumen Técnico: Marco de Anotación de Doble Triángulo

Enunciado del Problema
La extracción de información estructurada de documentos históricos (por ejemplo, directorios médicos, registros censales) es crítica para la investigación en humanidades digitales, pero enfrenta un cuello de botella en la producción de anotaciones de verdad fundamental de alta precisión. La anotación manual independiente tradicional es prohibitivamente costosa y difícil de escalar. Por el contrario, las pipelines totalmente automatizadas que dependen de un único Modelo Lenguaje Multimodal Grande (MLLM) son propensas a alucinaciones y carecen de la fiabilidad requerida para conjuntos de datos de referencia. Los enfoques existentes de ciclo humano-en-el-bucle a menudo dependen de puntuaciones de confianza de un solo modelo, lo que puede introducir sesgo de anclaje y fallar en detectar errores sistemáticos cuando el modelo está excesivamente seguro. El desafío central es verificar las salidas del modelo de manera eficiente sin incurrir en el costo total de la verificación manual para cada punto de datos.

Metodología: Anotación de Doble Triángulo
Los autores proponen la Anotación de Doble Triángulo, un marco de ciclo humano-en-el-bucle de dos capas que aprovecha el consenso cruzado entre modelos para automatizar la mayor parte del trabajo de anotación, reservando el esfuerzo humano estrictamente para casos ambiguos o conflictivos. El marco opera bajo un único supuesto: independencia de errores entre modelos arquitectónicamente distintos.

• Capa 1: El Triángulo de Anotación

  • Arquitectura: Dos anotadores de máquina independientes ($M_1, M_2$) procesan cada documento en paralelo. Un jurado humano ($H$) actúa únicamente como resolvedor de conflictos, no como productor principal.
  • Flujo de trabajo:
    1. Inferencia Paralela: $M_1$ y $M_2$ generan etiquetas provisionales.
    2. Filtrado por Consenso: Si $M_1$ y $M_2$ coinciden, la etiqueta se acepta automáticamente. El marco postula que la probabilidad de que dos modelos independientes cometan el mismo error en el mismo campo es negligible ($P \le \epsilon_1 \cdot \epsilon_2$).
    3. Arbitraje Humano: Si los modelos discrepan, el caso se enruta al jurado humano, quien revisa la imagen y ambas predicciones para determinar la etiqueta final.
  • Estrategia de Independencia: Para asegurar la independencia de errores, el marco emplea emparejamientos de modelos "cruzados por familia" (diferentes proveedores, por ejemplo, Anthropic vs. Qwen) o "cruzados por modalidad" (OCR vs. MLLM).

• Capa 2: El Triángulo de Validación

  • Arquitectura: Dos sistemas independientes de la Capa 1 ($S_a, S_b$) se tratan como unidades de anotador único. Un experto final de dominio ($R$) actúa como árbitro último.
  • Flujo de trabajo:
    1. Generación Dual: $S_a$ y $S_b$ procesan independientemente los datos para producir etiquetas refinadas ($L_a, L_b$).
    2. Meta-comparación: Si $L_a$ y $L_b$ coinciden, la etiqueta se designa como "Estándar de Oro".
    3. Resolución de Expertos: Las discrepancias entre los dos sistemas se escalan al experto de dominio.
  • Objetivo: Esta capa mitiga la falibilidad humana (fatiga, subjetividad) al capturar errores que un solo jurado humano podría pasar por alto, reduciendo aún más la tasa de error residual hacia cero.

Contribuciones Clave

1. Diseño del Marco: Introducción de un paradigma de dos capas que desplaza el rol humano de productor a verificador, automatizando la mayor parte de la anotación mediante consenso mientras reserva estrictamente el esfuerzo humano para casos ambiguos.
2. Diseño de Supuesto Mínimo: El marco no requiere calibración específica de la tarea ni priores distribucionales, confiando únicamente en la independencia de los errores del modelo. Es aplicable a cualquier tarea de extracción estructurada donde sea factible la ejecución paralela de modelos.
3. Escalabilidad a Prueba de Futuro: La arquitectura está diseñada para mejorar autónomamente a medida que aumentan las capacidades del modelo; una mayor precisión del modelo conduce a mayores tasas de consenso, reduciendo aún más el esfuerzo humano.
4. Lanzamiento de Referencia: Construcción y lanzamiento de la primera verdad fundamental de extracción estructurada para los Guides Rosenwald (directorios médicos franceses, 1887–1906), que comprende 60 columnas de documentos y 13,595 campos anotados.

Resultados Experimentales
El marco fue evaluado en el corpus de los Guides Rosenwald.

• Precisión: En una evaluación controlada de 380 campos, el marco logró una Tasa de Error de Palabra (WER) final de 0.003 y una Tasa de Error de Carácter (CER) de 0.001.
  • Los jurados de la Capa 1 corrigieron el 18.4% y el 26.3% de los campos respectivamente.
  • El revisor final (Capa 2) corrigió un 4.2% adicional de campos.
• Eficiencia:
  • En la evaluación controlada, el consenso de modelos aceptó automáticamente más del 73% de los campos.
  • En la referencia escalada (13,595 campos), la tasa de aceptación automática subió a más del 85%.
  • El revisor final solo necesitó corregir el 7.2% de los campos en la referencia escalada.
• Análisis de Errores: Los dos errores residuales en la salida final se rastrearon hasta una ambigüedad visual genuina en las imágenes de origen (por ejemplo, diacríticos tenues o artefactos de salto de línea). En estos casos, la entrada degradada indujo errores correlacionados tanto en humanos como en máquinas, violando el supuesto de independencia. Los autores señalan esto como un modo de fallo irreducible para los mecanismos basados en consenso.

Significado
El artículo afirma que la Anotación de Doble Triángulo ofrece una solución escalable al cuello de botella de alto costo de la anotación de documentos históricos. Al reemplazar el filtrado de confianza de un solo modelo con un consenso cruzado entre modelos, el marco mitiga efectivamente las alucinaciones y el sesgo de anclaje. Demuestra que se puede lograr una verdad fundamental de alta precisión a una fracción del costo de la anotación manual, con el sistema volviéndose cada vez más autónomo a medida que mejoran los modelos subyacentes. El lanzamiento de la referencia de los Guides Rosenwald proporciona un nuevo recurso para futuras investigaciones en el procesamiento de documentos históricos.

Limitaciones Reconocidas por los Autores

• Evaluación de Página Única: El análisis detallado de errores se basó en una sola página (380 campos), aunque la construcción de la referencia demostró la escalabilidad.
• Ambigüedad de la Fuente: El marco no puede detectar errores cuando la imagen de origen está tan degradada que todos los anotadores (humanos y máquinas) convergen en la misma interpretación incorrecta.
• Superposición de Anotadores: En la configuración experimental, el revisor final también fue uno de los jurados de la Capa 1, lo que podría debilitar la independencia entre capas (aunque los autores argumentan que esto proporciona un límite superior conservador para las tasas de error).
• Sesgo de Filtrado: La construcción de la referencia implicó filtrar columnas con bajo acuerdo del modelo, sesgando potencialmente el conjunto de datos hacia casos más fáciles.
• Alcance del Modelo: Los experimentos utilizaron únicamente pares de MLLM; se propusieron configuraciones cruzadas por modalidad (MLLM + OCR tradicional) pero no se evaluaron.