Information Extraction from Electricity Invoices with General-Purpose Large Language Models

1. Declaração do Problema

A extração automatizada de informações estruturadas a partir de documentos comerciais semiestruturados (por exemplo, faturas de eletricidade) permanece um gargalo crítico para a gestão empresarial. Abordagens tradicionais enfrentam limitações significativas:

• Sistemas baseados em regras/Modelos: Falham ao encontrar variações de layout ou diferentes fornecedores.
• Aprendizado de Máquina (ML) Clássico: Métodos como SVMs ou Random Forests exigem conjuntos de dados extensivamente anotados manualmente para cada novo tipo de documento, levando a problemas de escalabilidade e superajuste severo a layouts específicos de treinamento.
• Lacuna Atual: Embora os Modelos de Linguagem Grandes (LLMs) ofereçam potencial para extração flexível sem ajuste fino, há uma falta de estudos empíricos rigorosos quantificando seu desempenho em documentos comerciais específicos em comparação com baselines clássicos. Especificamente, não está claro se a engenharia de prompts ou o ajuste de parâmetros de inferência (por exemplo, temperatura, Top-p) é o principal motor da qualidade da extração.

2. Metodologia

Conjunto de Dados: IDSEM

O estudo utiliza um subconjunto do Banco de Dados de Faturas do Mercado Espanhol de Eletricidade (IDSEM).

• Escala: 75.000 faturas PDF geradas sinteticamente em 6 modelos de treinamento e 9 modelos de teste.
• Anotação: 107 rótulos semânticos (por exemplo, nome do cliente, valor total, tarifas de energia) organizados em 12 categorias.
• Desafio: O conjunto de dados inclui modelos não vistos no conjunto de teste para avaliar a generalização.
• Pré-processamento: Os PDFs foram convertidos para Markdown para preservar a estrutura semântica (tabelas, cabeçalhos) para entrada do LLM. Um processo de refinamento da verdade fundamental mapeou os 107 rótulos possíveis para o subconjunto específico presente em cada modelo, evitando penalizar modelos por campos ausentes.

Modelos Avaliados

Dois LLMs de propósito geral, arquiteturalmente distintos, foram testados sem ajuste fino específico para a tarefa:

1. Gemini 1.5 Pro: Um modelo de grande escala Mixture-of-Experts (MoE) com uma janela de contexto massiva.
2. Mistral-small: Um modelo denso de 24B parâmetros otimizado com Janela Deslizante e Atenção de Consulta Agrupada para eficiência.

Framework Experimental

O estudo isolou duas variáveis principais:

1. Parâmetros de Inferência: Uma busca em grade de 19 configurações (Temperatura, Top-K, Top-P) foi realizada no Gemini 1.5 Pro para testar a sensibilidade.
2. Estratégias de Engenharia de Prompt: Seis estratégias distintas foram comparadas em ambos os modelos usando configurações determinísticas (Temperatura = 0):
   • Zero-shot: Apenas instruções da tarefa e esquema.
   • Few-shot_v1: Um exemplo anotado com marcadores de rótulo explícitos.
   • Few-shot_v2: Um exemplo não anotado (texto simples).
   • Cross-valid_v1: Três exemplos de modelos sequenciais (T1-T3) testados em T4-T6.
   • Cross-valid_v2: Três exemplos de modelos estruturalmente semelhantes (T1, T2, T4) testados em modelos estruturalmente diferentes (T3, T5, T6).
   • Iterativo: Extração sequencial campo por campo.

Métricas de Avaliação

O desempenho foi medido usando Precisão, Revocação e Pontuação F1 no nível de campo, comparando a saída JSON do modelo contra a verdade fundamental após normalização.

3. Resultados Principais

A. Parâmetros de Inferência vs. Engenharia de Prompt

• Sensibilidade aos Parâmetros: A variação na pontuação F1 em todas as 19 configurações de parâmetros foi marginal (0,58 pontos percentuais). A diferença entre decodificação determinística (Temp=0) e amostragem estocástica foi negligenciável.
• Conclusão: O ajuste de hiperparâmetros tem um impacto negligenciável na fidelidade da extração. Praticantes podem usar configurações determinísticas para reprodutibilidade sem sacrificar o desempenho.

B. Impacto da Engenharia de Prompt

• Baseline Zero-shot: Alcançou ~78% (Gemini) e ~83% (Mistral) de pontuação F1.
• Melhoria Few-shot: A introdução de exemplos em contexto produziu ganhos massivos (>11 pontos percentuais).
• Melhor Desempenho: A estratégia Cross-valid_v2 (agrupamento por similaridade visual) alcançou as pontuações mais altas:
  • Gemini 1.5 Pro: 97,61% de pontuação F1.
  • Mistral-small: 96,11% de pontuação F1.
• Descoberta Chave: A qualidade do prompt é a alavanca dominante para o desempenho, superando amplamente as diferenças de arquitetura do modelo ou o ajuste de parâmetros.

C. Comparação de Modelos (Gemini vs. Mistral)

• Gemini 1.5 Pro: Exhibiu maior Precisão (95,24% na validação cruzada), significando que era melhor em identificar quando um campo estava ausente (evitando alucinações).
• Mistral-small: Exhibiu maior Revocação (frequentemente 100%), mas menor precisão, indicando uma tendência a "alucinar" valores para campos não presentes no documento.
• Generalização: Apesar de o Mistral ser menor, alcançou resultados dentro de 1-2% do Gemini, provando que modelos menores e eficientes podem ser altamente eficazes com prompts adequados.

D. Comparação com ML Clássico

• Baseline Clássica (SVM): Alcançou 91,86% em modelos vistos, mas caiu para 67,20% em modelos não vistos (T7), demonstrando superajuste severo.
• Desempenho LLM: Mantiveram 95,24% (Gemini) e 91,50% (Mistral) de precisão em modelos não vistos estruturalmente diferentes.
• Conclusão: Os LLMs generalizam a tarefa de extração via compreensão semântica, enquanto o ML clássico memoriza padrões de layout.

E. Influência Estrutural

A estrutura do modelo do documento foi identificada como o determinante primário da dificuldade. Modelos com layouts tabulares claros (T1) performaram significativamente melhor do que designs densos e multicolunas (T5), que se degradaram durante a conversão de PDF para Markdown.

4. Contribuições Principais

1. Validação Empírica da Engenharia de Prompt: Demonstrou que o design de prompts é o fator crítico para processamento de documentos baseado em LLM, tornando o ajuste extensivo de hiperparâmetros desnecessário para extração de alta fidelidade.
2. Capacidade de Generalização: Provou que LLMs de propósito geral podem alcançar resultados de última geração em layouts de documentos não vistos sem ajuste fino, superando o ML clássico em ~24 pontos percentuais em cenários de generalização.
3. Eficiência Arquitetural: Mostrou que modelos densos eficientes (Mistral-small) podem rivalizar com modelos MoE massivos (Gemini) quando acoplados a estratégias de prompt ótimas.
4. Framework Prático: Estabeleceu um pipeline reprodutível (PDF $\to$ Markdown $\to$ LLM) que alcança extração quase perfeita (97,61% F1) para automação empresarial.

5. Significado e Implicações

• Transformação Operacional: Este estudo fornece um caminho viável para empresas automatizarem o processamento de faturas sem o alto custo e requisitos de dados de treinar modelos personalizados.
• Mudança Estratégica: O foco para automação de documentos desloca-se de "construção de modelos" (treinamento/ajuste fino) para "orquestração de modelos" (engenharia de prompts e design de pipeline).
• Limitações e Trabalho Futuro: O estudo baseou-se em dados sintéticos e processamento apenas de texto (Markdown). Trabalhos futuros devem abordar ruído do mundo real, perda de informações visuais durante a conversão e a integração de Modelos Visão-Linguagem (VLMs) para capturar recursos de layout diretamente de imagens.

Em resumo, o artigo estabelece que a engenharia de prompts é o principal motor do sucesso na extração de documentos baseada em LLM, permitindo automação robusta e agnóstica a modelos que supera significativamente as abordagens tradicionais de aprendizado de máquina.