Resumo Técnico: DocHRL – Um Framework de Aprendizado por Reforço Hierárquico para Classificação de Documentos Otimizada em Custo

1. Declaração do Problema

Os pipelines atuais de classificação de documentos no mundo real tipicamente aplicam uma sequência fixa de modelos a cada documento recebido, independentemente da complexidade ou do tipo do documento. Essa abordagem estática leva a ineficiências significativas:

• Alocação Ineficiente de Recursos: Documentos simples são excessivamente processados com modelos caros, enquanto documentos difíceis ou ambíguos podem não receber escrutínio suficiente.
• Custo Operacional: O custo operacional total é fixo e independente do tipo de documento. Em grandes volumes, pequenas ineficiências por documento acumulam-se em custos substanciais.
• Compromissos Subótimos: Métodos existentes frequentemente tratam o custo computacional e o custo de má classificação como preocupações separadas ou ignoram totalmente os custos operacionais, falhando em otimizar conjuntamente a precisão e a eficiência econômica.

O artigo aborda a necessidade de um sistema adaptativo que selecione dinamicamente a política de classificação mais custo-efetiva para cada instância de documento, equilibrando custos de inferência, penalidades de má classificação e custos de revisão humana.

2. Metodologia

2.1. Modelo de Custo Formal

Os autores definem um modelo de custo formal para pipelines de classificação de documentos composto por três componentes:

• $C_i$ (Custo de Inferência): O custo computacional de uma única passagem de forward de um modelo.
• $C_f$ (Custo de Falha): A perda comercial descendente esperada decorrente de uma má classificação.
• $C_h$ (Custo de Rotulagem Humana): O custo total carregado da revisão manual por especialistas.

O artigo analisa quatro arquiteturas de pipeline:

1. Classificador Independente (Standalone): O custo é $C_i + E_r \cdot C_f$, onde $E_r$ é a taxa de erro.
2. Pipeline de Ensemble: O custo agrega os custos de inferência de múltiplos modelos mais a taxa de erro do ensemble.
3. Pipeline Human-in-the-Loop (HIL): Utiliza escalonamento baseado em entropia. Se a entropia da saída de um classificador exceder um limiar, o documento é roteado para um humano. O custo inclui inferência, revisão humana e erro humano residual.
4. Pipeline DocHRL: Ao contrário dos limiares estáticos do HIL, o DocHRL aprende uma política para selecionar o conjunto de ações mais barato e suficiente para cada instância específica de documento.

2.2. O Framework DocHRL

O DocHRL formula a classificação de documentos como um Processo de Decisão de Markov (MDP) resolvido via Aprendizado por Reforço Hierárquico (HRL).

• Representação de Estado ($s_t$): O estado do agente inclui:

  • $v$: Um embedding de visão congelado do documento.
  • $P_t$: Uma grade de probabilidade que acumula predições de rótulos suaves das ações invocadas.
  • $O_t$: Uma grade de OCR contendo embeddings de texto de fontes de OCR.
  • $u_t$: Uma máscara binária rastreando as ações utilizadas para evitar redundância.

• Hierarquia de Políticas:

  • Política de Alto Nível ($\pi_{top}$): Seleciona uma opção ampla de um conjunto que inclui classify (classificar), llm, ocr, human (humano) ou rótulos de classe terminais específicos.
  • Sub-Políticas ($\pi_{\theta}$): Políticas dedicadas para cada opção não terminal que selecionam ferramentas específicas (ex: um modelo classificador específico, um motor de OCR específico ou um LLM específico).

• Função de Recompensa: A recompensa é o negativo do custo total esperado de um episódio de classificação.

  • Os custos são incorridos em cada etapa com base na ação (custo de inferência da política ou custo de execução da ferramenta).
  • Uma penalidade de falha ($C_f$) é adicionada se uma predição de classe terminal estiver incorreta.
  • O custo total do episódio é a soma de todos os custos de etapa, e a recompensa é a sua negação, propagada via retornos descontados.

• Algoritmo de Treinamento:

  • Otimizador: Otimização de Política Próxima (PPO).
  • Variante de PPO: Substitui o clipping padrão por uma região de confiança com portão tanh suave ($\beta \tanh(r_t - 1) + 1 + \alpha(r_t - 1)$) para garantir gradientes não nulos para razões extremas.
  • AdaPolyTan: Uma técnica inovadora de normalização de retorno adaptativo que combina uma transformação polinomial e uma tanh. Os parâmetros se adaptam com base na magnitude do retorno médio para estabilizar o aprendizado de valor através de uma ampla gama dinâmica de custos.
  • Cabeça de Valor (Value Head): Limitada via uma ativação $0.5 \cdot \tanh$ para corresponder ao intervalo de retorno normalizado.

3. Principais Contribuições

1. Objetivo de Custo Unificado: Um modelo de custo formal unificando custos de inferência, falha e rotulagem humana em um único objetivo para quatro arquiteturas distintas de pipeline.
2. Framework de RL Hierárquico: Um framework de classificação adaptativo e consciente de custo, treinado de ponta a ponta usando uma nova variante de PPO (região de confiança com portão tanh, cabeça de valor limitada e normalização AdaPolyTan).
3. Validação Empírica: Avaliação abrangente no benchmark RVL-CDIP demonstrando melhorias simultâneas no desempenho de classificação e na eficiência operacional em comparação com baselines estáticos.

4. Resultados Experimentais

O framework foi avaliado no dataset RVL-CDIP (400.000 imagens em tons de cinza, 16 classes).

• Eficiência de Custo:

  • O DocHRL alcançou um custo médio por documento de 2,74 unidades normalizadas.
  • Isso representa uma redução de 69% em relação ao melhor classificador independente (EfficientNet-V2-M, custo 8,74) e uma redução de 65% em relação ao melhor ensemble (7,74).
  • Também superou a configuração ideal de Human-in-the-Loop baseada em entropia (custo 3,085) em 11,1%.

• Desempenho de Classificação:

  • O DocHRL alcançou um Macro F1 de 0,973 e uma Acurácia Macro de 97,27%.
  • Isso supera o melhor classificador independente (EfficientNet-V2-M, F1 0,913) em 6,0 pontos percentuais e o melhor ensemble (CNN Ensemble, F1 0,923) em 5,0 pontos percentuais.
  • Alcançou acurácia perfeita (1,000) nas classes email, questionnaire (questionário) e resume (currículo).
  • Ganhos significativos foram observados em classes difíceis como form (formulário) (0,928 vs 0,854 baseline) e scientific report (relatório científico) (0,935 vs 0,820 baseline).

• Comportamento Adaptativo:

  • O agente aprendeu a rotear documentos fáceis e de alta confiança (ex: email) diretamente para classificadores baratos.
  • Para documentos ambíguos (ex: form, scientific report), o agente invoca dinamicamente evidências adicionais (OCR, LLMs ou revisão humana), incorrendo em custos maiores apenas onde necessário para manter a alta precisão.

5. Significância e Alegações

O artigo afirma que o aprendizado por reforço consciente de custo é uma abordagem prática e fundamentada para construir sistemas de compreensão de documentos economicamente eficientes. A principal significância reside em demonstrar que precisão e eficiência de custo não precisam ser trocadas uma pela outra quando a política de roteamento é aprendida em vez de fixa.

Ao tratar a classificação de documentos como um problema de decisão sequencial com um sinal de recompensa que captura explicitamente o negativo do custo total, o DocHRL aprende a alocar recursos computacionais proporcionalmente à dificuldade de cada instância de documento. Os autores posicionam o DocHRL como uma prova de conceito para cenários onde ensembles heterogêneos (incluindo LLMs e revisão humana) já são operacionalmente justificados, mostrando que o RL hierárquico pode otimizar o custo total enquanto melhora o desempenho da classificação.

6. Limitações e Direções Futuras

Os autores enquadram modestamente o trabalho como uma prova de conceito e identificam algumas limitações:

• Custo de Falha Fixo: O modelo atual assume um custo de falha ($C_f$) fixo e independente do domínio. Trabalhos futuros poderiam aprender custos específicos de classe a partir de feedback descendente para lidar com domínios regulados (ex: saúde, jurídico).
• Modelo Humano Simplificado: O rotulador humano é modelado como uma função estocástica com uma taxa de erro fixa, ignorando comportamentos realistas como fadiga ou efeitos de aprendizado.
• Escalabilidade: O loop de treinamento PPO hierárquico requer múltiplas invocações de modelos por documento. Escalar para pools maiores ou pipelines de alto volume pode exigir RL off-policy ou replay de experiência.
• Restrições do Benchmark: A avaliação foi conduzida no benchmark equilibrado RVL-CDIP; o desempenho sob desequilíbrio de classes do mundo real e mudança de distribuição ainda precisa ser validado.