🤖 AI

HIRA: A Human-in-the-Loop Retrieval-Augmented Cascade for Document Classification in Regulated Industries

HIRA es una cascada de recuperación aumentada, local y sin necesidad de entrenamiento para la clasificación de documentos regulados que combina la recuperación multimodal con un verificador de LLM alojado localmente y retroalimentación de humanos en el bucle para lograr una alta precisión mientras minimiza la revisión humana y elimina la necesidad de costosos reentrenamientos de modelos.

Autores originales: Shangxuan Tian, Yanhui Chen, Carlos Queiroz

Publicado 2026-08-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Shangxuan Tian, Yanhui Chen, Carlos Queiroz

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En los mundos de alto riesgo de la banca, la atención médica y el derecho, los documentos son la moneda de cambio de la confianza. Cada solicitud de préstamo, registro médico y contrato legal debe ser clasificado en la categoría correcta para garantizar el cumplimiento, la seguridad y la eficiencia. Durante décadas, el enfoque estándar para este problema de clasificación ha sido enseñar a una computadora mostrándole miles de ejemplos etiquetados, un proceso conocido como entrenamiento. Sin embargo, este método choca con un muro en las industrias reguladas. Las reglas del juego son estrictas: los documentos sensibles no pueden abandonar el entorno seguro donde se crean, lo que significa que no pueden enviarse a la nube para ser procesados por una inteligencia artificial potente y remota. Además, las categorías específicas necesarias para los archivos internos de un banco suelen ser únicas y cambian con frecuencia, lo que hace imposible reunir los enormes conjuntos de datos preexistentes requeridos para entrenar un nuevo modelo desde cero. Cuando un banco intenta actualizar su sistema de clasificación, el proceso es tan lento y costoso que a menudo resulta impráctico, dejando a las instituciones estancadas con herramientas obsoletas o forzadas a depender de costosos trabajadores humanos para leer cada archivo.

Los investigadores Shangxuan Tian, Yanhui Chen y Carlos Queiroz han propuesto un camino diferente, un sistema llamado HIRA, diseñado específicamente para navegar estas estrictas limitaciones. En lugar de intentar reentrenar un modelo complejo cada vez que aparece un nuevo tipo de documento o cambia una regla, HIRA actúa más como un bibliotecario altamente organizado que aprende haciendo. El sistema opera en dos etapas. Primero, escanea un nuevo documento e inmediatamente busca en su memoria interna ejemplos similares que haya visto antes. Analiza el texto, el diseño e incluso la forma visual de la página para encontrar las mejores coincidencias. Si el sistema encuentra una coincidencia clara, clasifica el documento instantáneamente. Si el documento es confuso o se parece demasiado a varias categorías diferentes, el sistema no adivina; en su lugar, pasa el archivo a una segunda etapa más cuidadosa. Esta etapa utiliza una inteligencia artificial potente, alojada localmente, para revisar el documento junto con los mejores ejemplos que el sistema encontró, pidiéndole que tome una decisión final. Si incluso esta segunda etapa no está segura, el documento se envía a un experto humano para su corrección.

La verdadera innovación reside en lo que sucede después de esa corrección humana. En los sistemas tradicionales, un humano que corrige un error es solo una solución de una sola vez. En HIRA, cada corrección se convierte en una lección permanente. Cuando un humano corrige un documento, el sistema guarda ese ejemplo en su memoria con un peso especial, haciendo que sea más probable que se reconozca la próxima vez que llegue un documento similar. También actualiza un mapa de confusión, aprendiendo exactamente qué categorías tienden a mezclarse y qué palabras o características visuales específicas las distinguen. Esto le permite mejorar su precisión con el tiempo sin necesidad de reentrenar nunca su software principal ni actualizar sus pesos matemáticos subyacentes. El sistema se vuelve más inteligente simplemente recordando sus errores y los detalles específicos que los resolvieron.

Los investigadores probaron este enfoque en dos conjuntos de datos muy diferentes. El primero fue un benchmark público de 2,737 documentos que variaban desde cartas hasta informes científicos. En este conjunto, el sistema comenzó con un pequeño número de ejemplos y procesó un flujo de nuevos documentos. Al pedir a los humanos que corrigieran solo alrededor de una cuarta parte de los archivos entrantes, la precisión del sistema aumentó para igualar el rendimiento de un "oráculo" hipotético que había visto cada documento con su etiqueta correcta desde el principio. Este fue un salto significativo, superando por un amplio margen a una inteligencia artificial estándar que intentaba adivinar sin ayuda, utilizando además muchos menos recursos informáticos. El sistema logró enviar solo alrededor del 40% de los documentos a la segunda etapa de IA, más costosa, e incluso menos a los revisores humanos, demostrando que podía filtrar los casos fáciles de manera eficiente.

La segunda prueba fue un desafío del mundo real que involucró una colección privada de 30,233 documentos de financiación comercial de un importante banco. Este entorno era mucho más difícil, con 80 categorías diferentes, muchas de las cuales eran casi idénticas entre sí, como diferentes tipos de facturas o certificados. Los datos estaban muy sesgados, con algunas categorías teniendo miles de ejemplos y otras muy pocos. A pesar de estas dificultades, el sistema procesó todo el flujo de documentos y pidió a los trabajadores humanos que corrigieran solo 1,945 de ellos, lo que representa apenas el 6.4% del total. Este pequeño esfuerzo humano fue suficiente para elevar la precisión del sistema de un nivel modesto a uno altamente confiable. Los investigadores encontraron que, a medida que el sistema aprendía de estas correcciones, el número de documentos que requerían revisión humana disminuía drásticamente, estabilizándose en una tasa baja a medida que la memoria del sistema se enriquecía.

Este trabajo demuestra que, en las industrias reguladas, el camino hacia una alta precisión no requiere necesariamente conjuntos de datos masivos o un reentrenamiento constante del software. Al combinar un mecanismo de búsqueda inteligente con una inteligencia artificial local y un ciclo de retroalimentación que aprende de las correcciones humanas, es posible construir un sistema que se adapte a nuevos documentos y reglas cambiantes por sí mismo. El sistema respeta el requisito estricto de que los datos nunca abandonen el entorno seguro y, aun así, logra niveles de rendimiento que rivalizan con sistemas entrenados con vastas cantidades de datos. Los resultados sugieren que, para las industrias donde la privacidad de los datos y el cumplimiento son primordiales, un sistema que aprenda selectivamente y recuerde sus correcciones es una alternativa práctica y poderosa a los métodos tradicionales de entrenamiento de la inteligencia artificial.

Resumen Técnico: HIRA – Una Cascada de Recuperación con Humano en el Bucle

Planteamiento del Problema
El artículo aborda la clasificación de documentos en industrias reguladas (por ejemplo, finanzas, salud, legal), donde los enfoques estándar de aprendizaje supervisado y de modelos de lenguaje extensos (LLM) basados en la nube enfrentan cuatro restricciones críticas:

Arranque en Frío y Deriva (Cold Start & Drift): Las taxonomías son personalizadas y los datos son confidenciales, lo que impide la creación de grandes conjuntos de datos etiquetados. Además, las plantillas de documentos derivan con el tiempo, lo que requiere actualizaciones frecuentes del modelo.
Residencia de Datos: Los requisitos regulatorios (por ejemplo, el secreto bancario) prohíben que los documentos salgan del entorno local, lo que descarta las API de LLM alojadas en la nube.
Reentrenamiento Sujeto a Cumplimiento: El reentrenamiento y el despliegue de modelos activan revisiones de gobernanza prolongadas, lo que hace que la adaptación basada en pesos sea poco práctica para el ritmo de la deriva de datos.
Auditabilidad y Costo: Las decisiones deben ser explicables mediante precedentes, y la capacidad de revisión humana es un cuello de botella fijo y costoso. El objetivo es maximizar la precisión por etiqueta humana en lugar de la precisión bruta.

Metodología: El Sistema HIRA
HIRA (Human-in-the-Loop Retrieval-Augmented Cascade) es un flujo de trabajo sin entrenamiento, diseñado para operar en entornos locales sin actualizar los pesos del modelo. Funciona como una cascada de dos etapas con un bucle de retroalimentación:

Nivel 1: Recuperación Multimodal con Fusión RRF
El sistema procesa un documento a través de tres recuperadores paralelos sobre un índice actual:

BM25 sobre el texto OCR bruto.
Embeddings de oraciones densas (MiniLM) sobre el OCR.
Representaciones a nivel de imagen (SigLIP2).
Estas listas clasificadas se fusionan utilizando RRF Ponderado (Weighted Reciprocal Rank Fusion). Se agregan las puntuaciones por clase y, si la predicción superior supera un umbral calibrado ( $\tau_{t1}$ ), el documento se clasifica inmediatamente.

Nivel 2: Verificación Contrastiva por LLM
Los documentos que fallan la puerta del Nivel 1 se escalan a un verificador LLM alojado localmente (DeepSeek-R1-Distill-Qwen-32B). El verificador recibe:
El texto OCR del documento.
Los $k$ ejemplares superiores recuperados.
Descripciones de las etiquetas.
Términos distintivos: Tokens específicos extraídos de errores de clasificación pasados de pares de alta confusión (identificados mediante un grafo de confusión).
El LLM genera una etiqueta, un cubo de confianza ordinal y una justificación. Si la confianza supera un segundo umbral ( $\tau_{t2}$ ), la etiqueta se acepta; de lo contrario, el documento entra en la cola de Humano en el Bucle (HITL).
EDRM: Memoria de Relevancia de Documentos en Evolución
Este es la memoria adaptativa del sistema, actualizada por cada corrección humana sin cambiar los pesos del modelo:

Inserción de Ejemplares con Peso por Margen: Las correcciones se insertan en el índice de recuperación con pesos basados en el "margen" de la clasificación errónea inicial. Los errores más difíciles (márgenes negativos) reciben pesos más altos. Las entradas decaen con el tiempo para manejar la deriva de conceptos.
Grafo de Confusión con Suavizado de Dirichlet: Una matriz rastrea la confusión entre la predicción y las clases reales. Los pares de alta confusión activan la extracción de términos distintivos, que se inyectan en los futuros prompts del Nivel 2 para ayudar al LLM a diferenciar categorías similares.

Contribuciones Clave

Adaptación de Arranque en Frío: HIRA logra un alto rendimiento con una anotación inicial mínima (por ejemplo, 10 documentos por clase) y se adapta a distribuciones de cola larga sin reentrenamiento.
Cascada RAG Sin Entrenamiento: El sistema supera a los baselines de cero disparos (zero-shot) de LLM combinando la recuperación con un verificador local, evitando la necesidad de ajuste fino (fine-tuning).
Mecanismo de Memoria EDRM: Un sistema de memoria de doble señal que actualiza tanto el índice de recuperación (mediante el peso por margen) como el prompt de verificación (mediante grafos de confusión), permitiendo una mejora continua únicamente a través de actualizaciones de datos.

Resultados Experimentales
Los autores evaluaron HIRA en dos conjuntos de datos: un corpus privado Financial-80 (30,233 documentos, 80 categorías) y el benchmark corregido Tobacco-3482 (2,086 documentos en el pool, 10 categorías).

Financial-80 (Producción):
- HIRA procesó el flujo completo, solicitando corrección humana para solo el 6.4% (1,945 documentos).
- El Macro-F1 mejoró de 0.6218 (línea base de LLM zero-shot) a 0.8548.
- La tasa de la cola de revisión humana cayó de ~18.8% a 6.2% a medida que el índice maduraba.
Tobacco-3482 (Benchmark):
- HIRA logró un Macro-F1 de 0.9423, que es 17.4 puntos porcentuales superior a la línea base de LLM zero-shot alojado localmente (0.7683).
- El sistema invocó al verificador LLM para solo ~40% de los documentos, reduciendo las llamadas al LLM en un 60% en comparación con el zero-shot.
- Con 518 correcciones humanas (24.8% del pool), HIRA igualó el rendimiento de un "oráculo de pool totalmente etiquetado" (donde todos los documentos están indexados con la verdad de campo).
- En una comparación con un modelo DiT ajustado con el mismo presupuesto de anotación (618 etiquetas), HIRA superó al modelo supervisado (0.9423 vs. 0.9193) sin requerir entrenamiento intensivo de GPU o revisiones de gobernanza.

Significancia y Reivindicaciones
El artículo afirma que HIRA proporciona una alternativa práctica al reentrenamiento repetitivo de modelos para la clasificación de documentos en despliegues regulados. Al aprovechar la retroalimentación humana selectiva y la adaptación de la memoria de recuperación, el sistema:

Reduce los Costos Operativos: Reduce significativamente el volumen de documentos que requieren revisión humana y reduce los costos de inferencia de LLM al dirigir solo los casos ambiguos al verificador.
Garantiza el Cumplimiento: Opera enteramente en las instalaciones (on-premises), manteniendo los datos dentro del entorno de despliegue y evitando la carga de gobernanza asociada con las actualizaciones de los pesos del modelo.
Se Adapta a la Deriva: Maneja categorías de cola larga y confusión de sinónimos cercanos mediante el mecanismo EDRM, mejorando continuamente sus capacidades de recuperación y verificación a medida que se acumulan las correcciones.

Los autores concluyen que esta combinación de recuperación multimodal, verificación local y HITL selectivo es suficiente para desplegar sistemas de clasificación robustos en industrias reguladas sin la necesidad de ciclos tradicionales de ajuste fino supervisado.

Más como este