🤖 AI

HIRA: A Human-in-the-Loop Retrieval-Augmented Cascade for Document Classification in Regulated Industries

O HIRA é uma cascata de recuperação aumentada local e livre de treinamento para classificação de documentos regulamentados que combina recuperação multimodal com um verificador de LLM hospedado localmente e feedback humano no ciclo para alcançar alta precisidade enquanto minimiza a revisão humana e elimina a necessidade de retreinamento custoso de modelos.

Autores originais: Shangxuan Tian, Yanhui Chen, Carlos Queiroz

Publicado 2026-08-25

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Shangxuan Tian, Yanhui Chen, Carlos Queiroz

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Nos mundos de alto risco da banca, da saúde e do direito, os documentos são a principal moeda de confiança. Cada pedido de empréstimo, registro médico e contrato jurídico deve ser classificado na categoria correta para garantir conformidade, segurança e eficiência. Durante décadas, a abordagem padrão para este problema de classificação tem sido ensinar um computador mostrando-lhe milhares de exemplos rotulados, um processo conhecido como treinamento. No entanto, este método encontra um obstáculo em setores regulamentados. As regras do jogo são rígidas: documentos sensíveis não podem sair do ambiente seguro onde foram criados, o que significa que não podem ser enviados para a nuvem para serem processados por uma inteligência artificial poderosa e remota. Além disso, as categorias específicas necessárias para os arquivos internos de um banco são frequentemente únicas e mudam com frequência, tornando impossível reunir os conjuntos de dados massivos e pré-existentes necessários para treinar um novo modelo do zero. Quando um banco tenta atualizar seu sistema de classificação, o processo é tão lento e caro que muitas vezes se torna impraticável, deixando as instituições presas a ferramentas obsoletas ou forçadas a depender de trabalhadores humanos caros para ler cada arquivo.

Os pesquisadores Shangxuan Tian, Yanhui Chen e Carlos Queiroz propuseram um caminho diferente, um sistema chamado HIRA, projetado especificamente para navegar por essas restrições rigorosas. Em vez de tentar retreinar um modelo complexo toda vez que um novo tipo de documento aparece ou uma regra muda, o HIRA atua como um bibliotecário altamente organizado que aprende fazendo. O sistema opera em dois estágios. Primeiro, ele escaneia um novo documento e imediatamente pesquisa em sua memória interna por exemplos semelhantes que tenha visto antes. Ele observa o texto, o layout e até mesmo a forma visual da página para encontrar as melhores correspondências. Se o sistema encontrar uma correspondência clara, ele classifica o documento instantaneamente. Se o documento for confuso ou parecer muito com várias categorias diferentes, o sistema não adivinha; em vez disso, ele passa o arquivo para um segundo estágio, mais cuidadoso. Este estágio utiliza uma inteligência artificial poderosa, hospedada localmente, para revisar o documento juntamente com os melhores exemplos que o sistema encontrou, pedindo-lhe para tomar uma decisão final. Se mesmo este segundo estágio estiver incerto, o documento é enviado a um especialista humano para correção.

A verdadeira inovação reside no que acontece após essa correção humana. Nos sistemas tradicionais, um humano corrigindo um erro é apenas uma correção pontual. No HIRA, cada correção torna-se uma lição permanente. Quando um humano corrige um documento, o sistema salva esse exemplo em sua memória com um peso especial, tornando-o mais propenso a ser reconhecido na próxima vez que um documento semelhante chegar. Ele também atualiza um mapa de confusão, aprendendo exatamente quais categorias tendem a se misturar e quais palavras ou características visuais específicas as distinguem. Isso permite que o sistema melhore sua precisão ao longo do tempo sem nunca precisar retreinar seu software principal ou atualizar seus pesos matemáticos subjacentes. O sistema torna-se mais inteligente simplesmente ao lembrar de seus erros e dos detalhes específicos que os resolveram.

Os pesquisadores testaram esta abordagem em dois conjuntos de dados muito diferentes. O primeiro foi um benchmark público de 2.737 documentos, variando de cartas a relatórios científicos. Neste conjunto, o sistema começou com um pequeno número de exemplos e processou um fluxo de novos documentos. Ao pedir que humanos corrigissem apenas cerca de um quarto dos arquivos recebidos, a precisão do sistema subiu para igualar o desempenho de um "oráculo" hipotético que tivesse visto cada um dos documentos com seu rótulo correto desde o início. Isso foi um salto significativo, superando por uma margem ampla um sistema de inteligência artificial padrão que tentava adivinhar sem qualquer ajuda, utilizando muito menos recursos computacionais. O sistema conseguiu enviar apenas cerca de 40% dos documentos para o segundo estágio de IA, mais caro, e ainda menos para os revisores humanos, provando que poderia filtrar os casos fáceis de forma eficiente.

O segundo teste foi um desafio do mundo real envolvendo uma coleção privada de 30.233 documentos de financiamento comercial de um grande banco. Este ambiente era muito mais difícil, com 80 categorias diferentes, muitas das quais eram quase idênticas entre si, como diferentes tipos de faturas ou certificados. Os dados eram fortemente desbalanceados, com algumas categorias tendo milhares de exemplos e outras tendo muito poucos. Apesar dessas dificuldades, o sistema processou todo o fluxo de documentos e pediu que trabalhadores humanos corrigissem apenas 1.945 deles, o que representa apenas 6,4% do total. Esse pequeno esforço humano foi suficiente para elevar a precisão do sistema de um nível modesto para um nível altamente confiável. Os pesquisadores descobriram que, à medida que o sistema aprendia com essas correções, o número de documentos que necessitavam de revisão humana caía drasticamente, estabilizando-se em uma taxa baixa conforme a memória do sistema se tornava mais rica.

Este trabalho demonstra que, em setores regulamentados, o caminho para uma alta precisão não requer necessariamente conjuntos de dados massivos ou retreinamento constante de software. Ao combinar um mecanismo de busca inteligente com uma inteligência artificial local e um ciclo de feedback que aprende com as correções humanas, é possível construir um sistema que se adapta a novos documentos e mudanças de regras por conta própria. O sistema respeita o requisito estrito de que os dados nunca saiam do ambiente seguro, mas alcança níveis de desempenho que rivalizam com sistemas treinados em vastas quantidades de dados. Os resultados sugerem que, para setores onde a privacidade dos dados e a conformidade são primordiais, um sistema que aprende seletivamente e lembra de suas correções é uma alternativa prática e poderosa aos métodos tradicionais de treinamento de inteligência artificial.

Resumo Técnico: HIRA – Uma Cascata de Recuperação com Humano no Ciclo (Human-in-the-Loop)

Configuração do Problema
O artigo aborda a classificação de documentos em setores regulamentados (ex: finanças, saúde, jurídico), onde as abordagens padrão de aprendizado supervisionado e de Grandes Modelos de Linguagem (LLMs) baseados em nuvem enfrentam quatro restrições críticas:

Cold Start & Drift (Início a Frio e Deriva): As taxonomias são personalizadas e os dados são confidenciais, o que impede a criação de grandes conjuntos de dados rotulados. Além disso, os modelos de documentos sofrem deriva ao longo do tempo, exigindo atualizações frequentes do modelo.
Residência de Dados: Requisitos regulatórios (ex: sigilo bancário) proíbem que os documentos saiam do ambiente on-premises, descartando o uso de APIs de LLMs hospedadas na nuvem.
Retreinamento Vinculado à Conformidade: O retreinamento e a redistribuição de modelos disparam longas revisões de governança, tornando impraticável a adaptação baseada em pesos para o ritmo da deriva de dados.
Auditabilidade e Custo: As decisões devem ser explicáveis via precedentes, e a capacidade de revisão humana é um gargalo fixo e caro. O objetivo é maximizar a precisão por rótulo humano, em vez da precisão bruta.

Metodologia: O Sistema HIRA
O HIRA (Human-in-the-Loop Retrieval-Augmented Cascade) é um pipeline on-premises livre de treinamento, projetado para operar sem atualizar os pesos do modelo. Ele funciona como uma cascata de dois estágios com um ciclo de feedback:

Nível 1: Recuperação Multimodal com Fusão RRF
O sistema processa um documento através de três recuperadores paralelos sobre um índice atual:

BM25 sobre o texto bruto do OCR.
Embeddings de sentenças densas (MiniLM) sobre o OCR.
Representações de nível de imagem (SigLIP2).
As listas classificadas são fundidas usando RRF Ponderado (Weighted Reciprocal Rank Fusion). As pontuações por classe são agregadas e, se a principal predição exceder um limiar calibrado ( $\tau_{t1}$ ), o documento é classificado imediatamente.

Nível 2: Verificação Contrastiva por LLM
Documentos que falham no portão do Nível 1 são escalonados para um verificador LLM hospedado localmente (DeepSeek-R1-Distill-Qwen-32B). O verificador recebe:
O texto OCR do documento.
Exemplares recuperados (top- $k$ ).
Descrições de rótulos.
Termos distintivos: Tokens específicos minerados de erros de classificação passados de pares de alta confusão (identificados via um grafo de confusão).
O LLM gera um rótulo, um balde de confiança ordinal e uma justificativa. Se a confiança exceder um segundo limiar ( $\tau_{t2}$ ), o rótulo é aceito; caso contrário, o documento entra na fila de Humano no Ciclo (HITL).
EDRM: Memória de Relevância de Documentos Evolutiva
Este é o mecanismo de memória adaptativa do sistema, atualizado por cada correção humana sem alterar os pesos do modelo:

Inserção de Exemplar com Peso de Margem: As correções são inseridas no índice de recuperação com pesos baseados na "margem" da classificação errônea inicial. Erros mais difíceis (margens negativas) recebem pesos maiores. As entradas sofrem decaimento ao longo do tempo para lidar com a deriva de conceito.
Grafo de Confusão com Suavização de Dirichlet: Uma matriz rastreia a confusão entre predição e classe real. Pares de alta confusão disparam a extração de termos distintivos, que são injetados em futuros prompts do Nível 2 para ajudar o LLM a diferenciar categorias semelhantes.

Principais Contribuições

Adaptação de Cold-Start: O HIRA alcança alto desempenho com mínima anotação inicial (ex: 10 documentos por classe) e se adapta a distribuições de cauda longa sem retreinamento.
Cascata RAG Livre de Treinamento: O sistema supera os baselines de zero-shot de LLMs ao combinar recuperação com um verificador local, evitando a necessidade de ajuste fino (fine-tuning).
Mecanismo de Memória EDRM: Um sistema de memória de sinal duplo que atualiza tanto o índice de recuperação (via peso de margem) quanto o prompt de verificação (via grafos de confusão), permitindo a melhoria contínua apenas através de atualizações de dados.

Resultados Experimentais
Os autores avaliaram o HIRA em dois conjuntos de dados: um corpus privado Financial-80 (30.233 documentos, 80 categorias) e o benchmark corrigido Tobacco-3482 (2.086 documentos no pool, 10 categorias).

Financial-80 (Produção):
- O HIRA processou o fluxo completo, solicitando correção humana para apenas 6,4% (1.945 documentos).
- O Macro-F1 melhorou de 0,6218 (baseline zero-shot de LLM) para 0,8548.
- A taxa da fila de revisão humana caiu de ~18,8% para 6,2% conforme o índice amadureceu.
Tobacco-3482 (Benchmark):
- O HIRA alcançou um Macro-F1 de 0,9423, que é 17,4 pontos percentuais superior ao baseline zero-shot do LLM hospedado localmente (0,7683).
- O sistema invocou o verificador LLM para apenas ~40% dos documentos, reduzindo as chamadas de LLM em 60% em comparação ao zero-shot.
- Com 518 correções humanas (24,8% do pool), o HIRA igualou o desempenho de um "oráculo de pool totalmente rotulado" (onde todos os documentos são indexados com a verdade fundamental).
- Em uma comparação com um modelo DiT ajustado com o mesmo orçamento de anotação (618 rótulos), o HIRA superou o modelo supervisionado (0,9423 vs. 0,9193) sem exigir treinamento intensivo de GPU ou revisões de governança.

Significância e Alegações
O artigo afirma que o HIRA oferece uma alternativa prática ao retreinamento repetitivo de modelos para classificação de documentos em implantações regulamentadas. Ao alavancar o feedback humano seletivo e a adaptação de memória de recuperação, o sistema:

Reduz Custos Operacionais: Diminui significativamente o volume de documentos que exigem revisão humana e reduz os custos de inferência de LLM ao rotear apenas casos ambíguos para o verificador.
Garante Conformidade: Opera inteiramente on-premises, mantendo os dados dentro do ambiente de implantação e evitando o overhead de governança associado às atualizações de pesos de modelos.
Adapta-se à Deriva: Lida com categorias de cauda longa e confusão de quase-sinônimos através do mecanismo EDRM, melhorando continuamente suas capacidades de recuperação e verificação conforme as correções são acumuladas.

Os autores concluem que esta combinação de recuperação multimodal, verificação local e HITL seletivo é suficiente para implantar sistemas de classificação robustos em indústrias regulamentadas sem a necessidade de ciclos tradicionais de ajuste fino supervisionado.

Mais como este