A Reliability Evaluation of Hybrid Deterministic-LLM Based Approaches for Academic Course Registration PDF Information Extraction

Título: Avaliação de Confiabilidade de Abordagens Híbridas Determinísticas–LLM para Extração de Informações de Documentos de Inscrição Acadêmica (KRS)

1. Problema e Contexto

O estudo aborda o desafio de extrair dados estruturados de documentos PDF de "Cartão de Plano de Estudos" (KRS - Kartu Rencana Studi) em universidades indonésias.

• Desafios Específicos: Os documentos apresentam variações significativas entre diferentes programas de estudo (número de disciplinas, títulos acadêmicos, nomes longos), problemas de codificação (ligaduras Unicode, como "fi" aparecendo como um único caractere) e a necessidade de privacidade de dados.
• Limitações Atuais: O acesso direto ao banco de dados da universidade é frequentemente restrito por questões de permissão e segurança, e a criação de APIs é inviável em instituições com recursos limitados de TI.
• Restrição Computacional: O estudo foca em ambientes com recursos limitados, especificamente executando processamento em CPUs de nível de consumidor (sem GPU), o que impõe desafios significativos de latência e capacidade de processamento para modelos de linguagem grandes (LLMs).

2. Metodologia

Os pesquisadores desenvolveram e compararam três estratégias de extração de informações em um pipeline Python:

1. Abordagem LLM Apenas: Uso exclusivo de modelos de linguagem para interpretar o texto do PDF e gerar JSON.
2. Abordagem Híbrida Determinística–LLM: Combinação de expressões regulares (Regex) para extração de metadados estáveis (dados do aluno, semestre) e LLM para a tabela de disciplinas e professores.
3. Pipeline Baseado em Camelot com Fallback LLM: Uso da biblioteca Camelot (focada em layout e tabelas) como método primário para extrair tabelas, com o LLM atuando apenas como "fallback" (reserva) quando a extração determinística falha.

Configuração Experimental:

• Modelos Testados: Gemma 3:12b, Phi 4:14b e Qwen 2.5:14b. Todos rodando localmente via Ollama em um laptop com CPU AMD Ryzen 5 6000H e 16GB de RAM.
• Dataset: 140 PDFs para testes de modelos (4 programas de estudo) e 860 PDFs para avaliação do pipeline Camelot.
• Métricas de Avaliação:
  • Exact Match (EM): Correspondência exata com os dados de referência (Ground Truth).
  • Similaridade de Levenshtein (LS): Permite pequenas variações (erros de digitação, pontuação) com um limiar de 0.7.
• Prompting: Uso de few-shot prompting com regras estritas (ex: "não inventar dados", "número de professores deve igualar o número de disciplinas").

3. Contribuições Chave

• Avaliação de Privacidade e Local: Demonstra a viabilidade de processamento de dados sensíveis de estudantes localmente (on-premise) sem envio para nuvem, atendendo a requisitos de privacidade.
• Comparação de Arquiteturas: Preenche uma lacuna na literatura ao comparar especificamente abordagens puramente LLM versus híbridas e baseadas em layout para documentos acadêmicos indonésios.
• Otimização para Hardware Limitado: Fornece insights sobre o desempenho de modelos de 12B-14B parâmetros em CPUs consumer-grade, identificando o equilíbrio entre precisão e tempo de inferência.
• Estratégia de Fallback Progressivo: Propõe um pipeline robusto (Regex → Camelot Lattice → Camelot Stream → LLM) que maximiza a eficiência computacional.

4. Resultados Principais

• Desempenho dos Modelos:

  • Qwen 2.5:14b demonstrou o desempenho mais consistente e estável em todos os cenários, obtendo as melhores pontuações em EM e LS.
  • Gemma 3:12b falhou consistentemente no modo "LLM apenas", mas atingiu pontuação perfeita (1.00) no modo híbrido, indicando dependência de regras determinísticas para estabilidade.
  • Phi 4:14b apresentou problemas específicos, como a remoção indevida de nomes de professores repetidos (que o prompt permitia) e confusão na correspondência disciplina-professor, resultando em pontuações mais baixas na lista de professores.

• Eficiência Computacional (Throughput):

  • Modos Híbrido/LLM Puro: O tempo de processamento foi alto, variando de 95 a 112 segundos por PDF (aprox. 1,5 a 1,8 minutos). O Phi 4 no modo híbrido foi o mais rápido (0,69 PDFs/min).
  • Pipeline Camelot + Fallback: Revelou-se drasticamente superior. A maioria dos documentos (799 de 860) foi processada pelo modo Lattice do Camelot em menos de 1 segundo. O LLM foi acionado apenas em casos raros (9 documentos), atuando como fallback.
  • Precisão do Pipeline Camelot: Alcançou pontuações de EM e LS entre 0,99 e 1,00, combinando alta precisão com eficiência computacional extrema.

• Desafios Identificados:

  • Dados com múltiplas linhas ou nomes muito longos causaram falhas na leitura pelo Camelot Lattice, exigindo o fallback para o LLM.
  • A normalização de caracteres Unicode e ligaduras foi crítica para a precisão.

5. Significado e Conclusão

O estudo conclui que uma abordagem puramente baseada em LLM, embora tenha boa capacidade de generalização, é computacionalmente custosa e inconsistente em hardware limitado. A integração de métodos determinísticos (Regex e bibliotecas de layout como Camelot) com LLMs como fallback cria uma estratégia superior.

• Impacto Prático: O pipeline híbrido proposto oferece uma solução viável, privada e escalável para instituições de ensino superior com recursos de TI limitados, permitindo a extração automatizada de dados de KRS sem depender de APIs externas ou servidores de GPU.
• Recomendação Futura: Os autores sugerem a expansão para documentos baseados em imagem (OCR), otimização de modelos via quantização e testes em ambientes com GPU para validar a eficiência energética e o throughput em larga escala.

Em resumo, a combinação de métodos determinísticos para estrutura estável e LLMs para casos de borda e complexidade representa o estado da arte para extração de informações de documentos acadêmicos textuais em ambientes de recursos restritos.