EURO-5K: When Does Domain Pretraining Matter? Benchmarking Transformers for EU Reporting Obligation Extraction

Este artigo apresenta o EURO-5K, um conjunto de dados especializado para a extração de obrigações de reporte da UE, e demonstra que, embora o pré-treinamento jurídico ofereça ganhos marginais para modelos de ajuste fino completo, ele impulsiona significativamente o desempenho do ajuste de parâmetros eficientes e acelera o aprendizado com dados limitados, validando, em última análise, tanto as abordagens discriminativas quanto as generativas para a automação de conformidade regulatória.

O essencial

Imagine a União Europeia como uma biblioteca massiva contendo 180.000 livros de regras diferentes (leis e regulamentos) escritos em uma linguagem muito formal e complexa. Dentro desses livros, existem TRÊS tipos principais de instruções que precisam ser separados:

1. Regras Comportamentais: "Você deve realizar esta ação" (ex: "Trate a água para torná-la segura").
2. Regras de Relatório: "Você deve enviar um relatório sobre esta ação ao governo" (ex: "Diga à Comissão quanto de água você tratou").
3. Regras de Divulgação (Transparência): "Você deve tornar esta informação pública" (ex: "Publique no jornal quanto de água você tratou").

O problema é que esses três tipos de regras frequentemente parecem exatamente iguais na página. Todos usam palavras como "deve" e "tem o dever de". Encontrar as "Regras de Relatório" específicas manualmente é como tentar encontrar uma agulha específica em um palheiro do tamanho de uma montanha, sabendo que existem agulhas de dois outros tipos que parecem iguais. Leva uma eternidade, custa uma fortuna e exige que um advogado leia cada frase para distinguir se é uma ação, um relatório ou uma divulgação pública.

Este artigo apresenta um projeto chamado EURO-5K para construir um "robô inteligente" que pode encontrar automaticamente essas agulhas de relatório, distinguindo-as das outras duas categorias. Aqui está como eles fizeram isso, explicado de forma simples:

1. Os Dados de Treinamento: Uma Metodologia Rigorosa

Os pesquisadores não apenas "limparam" uma pilha de texto; eles criaram uma metodologia científica completa para construir o conjunto de dados EURO-5K.

• A Analogia: Imagine que alguém lhe entregou uma pilha de 30.000 post-its, mas metade estava colada nas páginas erradas e alguns cobriam três páginas de uma vez. Em vez de apenas arrumá-los, eles criaram um sistema de cinco critérios rigorosos para reorganizar tudo.
• A Correção: Eles desenvolveram um processo onde um modelo de IA ajudou a marcar os textos, seguido por uma validação humana dupla e cega (dois especialistas analisaram os mesmos textos sem saberem o que o outro marcou). Isso garantiu que as marcações fossem consistentes, com um nível de concordância humana (kappa = 0.613) que prova a qualidade do trabalho.
• O Resultado: Eles produziram 5.253 exemplos limpos e perfeitos, ensinando aos robôs a diferença crucial entre "fazer algo", "relatar algo" e "divulgar algo publicamente". Eles incluíram exemplos "complicados" para garantir que os robôs não apenas buscassem palavras-chave fáceis, mas entendessem o contexto.

2. Os Contendentes: Dois Tipos de Robôs

Eles testaram dois tipos diferentes de "cérebros" de IA para ver qual era melhor:

• O "Destacador" (Discriminativo/BERT): Este robô lê uma sentença e destaca as palavras específicas que a tornam uma regra de relatório. É como um aluno sublinhando a resposta em um livro didático.
• O "Escritor" (Generativo/LLM): Este robô lê a sentença e escreve a resposta do zero. Se ele vê uma regra de relatório, ele copia a sentença; se não, ele diz "Nenhuma". É como um aluno escrevendo a resposta em uma folha em branco.

Eles testaram esses robôs de duas maneiras:

• Treinamento Completo (Fine-tuning): Ensinar o robô tudo do zero usando os novos dados jurídicos.
• Treinamento Eficiente (QLoRA/LoRA): Ensinar o robô usando um método de "atalho" que atualiza apenas uma fração minúscula de seu cérebro (como colocar um novo apêndice em um livro em vez de reescrever o livro inteiro). Isso economiza uma quantidade massiva de poder computacional.

3. As Grandes Questões e Resultados

P: Precisamos de um robô que já tenha sido treinado em livros jurídicos, ou um robô genérico funcionará?

• A Descoberta: Surpreendentemente, um robô genérico treinado em textos gerais teve um desempenho quase idêntico a um robô especificamente treinado em textos jurídicos.
• A Validação Estatística: Isso não foi apenas uma coincidência nos números. Os pesquisadores usaram testes estatísticos rigorosos (testes t de Welch e reamostragem bootstrap) para provar que a diferença foi estatisticamente insignificante. Ou seja, é um fato comprovado que um mecânico geral é tão bom quanto um especialista para esta tarefa específica, desde que tenha o manual correto.

P: Qual tipo de robô é melhor: O Destacador ou O Escritor?

• A Descoberta: Eles estão essencialmente empatados. Ambos os modelos alcançaram um F1-score de aproximadamente 0,89 (uma métrica que equilibra a precisão e a capacidade de encontrar todos os casos relevantes, crucial quando os dados são desequilibrados).
• A Reviravolta: O método de "atalho" (treinamento eficiente) NÃO venceu o treinamento completo. Na verdade, o treinamento completo foi significativamente melhor para ambos os tipos de robôs.
• O Verdadeiro Ponto de Virada: O que aconteceu de interessante foi que um modelo "Escritor" (Generativo), mesmo usando o método de "atalho" eficiente, conseguiu empatar ou superar ligeiramente o melhor modelo "Destacador" que usou o treinamento completo. Isso é importante porque mostra que modelos generativos modernos são tão poderosos que, mesmo com menos treinamento, conseguem competir com modelos tradicionais totalmente treinados. No entanto, essa pequena diferença não foi estatisticamente significativa (p=0.082), confirmando que as duas abordagens são essencialmente equivalentes em desempenho.

P: De quanta informação precisamos?

• A Descoberta: Os robôs aprenderam muito rápido no início, mas após cerca de 3.000 exemplos, pararam de melhorar significativamente.
• A Analogia: É como aprender a andar de bicicleta. Você cambaleia muito no começo, mas depois que pega o jeito (após cerca de 3.000 milhas de prática), adicionar mais milhas não faz você se tornar um ciclista muito melhor. Isso prova que o conjunto de dados de 5.000 exemplos deles era "na medida certa".

P: Os robôs realmente entendem a lei ou estão apenas adivinhando?

• A Descoberta: Os pesquisadores testaram os robôs em novas leis que eles nunca tinham visto antes (incluindo leis financeiras).
• O Resultado: Os robôs foram muito bons em dizer "Não" para regras que não eram regras de relatório (como regras sobre segurança pública ou comportamento). Eles não se confundiram. Eles agiram como detetives especializados, não como adivinhadores genéricos.

4. Por que isso importa? (As Apostas Políticas)

Este trabalho vai muito além da tecnologia; ele tem um impacto real no bolso dos cidadãos e na eficiência da Europa.

• O Exemplo Real: O artigo cita o pacote de simplificação "Omnibus" da UE de 2025. Ao analisar as sobreposições nas regras de relatório entre três frameworks de sustentabilidade, a UE conseguiu remover cerca de 80% das empresas da obrigação de relatar, projetando uma economia de 4,4 bilhões de euros por ano.
• O Desafio: Com 180.000 atos legais na UE, fazer essa análise manualmente é impossível.
• A Solução: Este artigo fornece o primeiro conjunto de dados aberto, modelos treinados e uma ferramenta pronta para uso que automatiza essa análise em escala. Isso apoia diretamente a meta da Comissão Europeia de reduzir a carga regulatória em 25%, transformando um processo que levaria anos em algo que pode ser feito em minutos.

5. A Ferramenta "Mágica"

A equipe não parou apenas na pesquisa. Eles construíram um site público onde qualquer pessoa pode colar um trecho de uma lei da UE e o robô irá:

1. Encontrar as regras de relatório.
2. Mostrar por que encontrou essas regras (destacando as palavras específicas como "notificar" ou "Comissão").
3. Exportar os resultados em um formato estruturado que computadores podem usar para construir bancos de dados.

Resumo

O artigo conclui que não precisamos de uma IA jurídica cara e especializada para resolver este problema. Uma IA padrão, bem treinada, usando métodos de treinamento inteligentes, pode fazer o trabalho tão bem quanto. Eles provaram que podemos automatizar a tarefa tediosa de encontrar "quem precisa relatar o quê" nas leis da UE, economizando tempo e dinheiro. Com dados estatisticamente validados e uma ferramenta pública, eles estão ajudando a cumprir a promessa de uma Europa menos burocrática e mais eficiente.

Resumo técnico

Resumo Técnico: EURO-5K e Benchmarking de Transformers para Extração de Obrigações de Relatório da UE

Definição do Problema

A extração de obrigações de relatório de legislações da União Europeia (UE) é uma tarefa crítica para avaliar e reduzir os encargos regulatórios. No entanto, distinguir requisitos de relatório específicos (transmissão de dados para autoridades) de obrigações comportamentais estruturalmente semelhantes (requisitos de conduta) ou obrigações de divulgação (transparência pública) requer um entendimento jurídico especializado. Os métodos atuais de Processamento de Linguagem Natural (PLN) carecem de conjuntos de dados especializados com diretrizes claras e avaliações comparativas de paradigmas de extração, particularmente no que diz respeito à eficácia da adaptação de domínio e das estratégias de treinamento eficiente de parâmetros para esta tarefa específica.

Metodologia

Curadoria de Dados: EURO-5K

Os autores curaram o EURO-5K, um corpus de 5.253 exemplos ao nível da sentença derivados de 136 atos legislativos da UE. O conjunto de dados foi construído a partir do Annotation of Reporting Obligations in EU Legislation Dataset (AROLD) bruto, submetido a um rigoroso processo de curadoria que o estabelece como uma contribuição metodológica distinta.

• Framework de Anotação: A distinção entre obrigações de relatório, comportamentais e de divulgação foi operacionalizada através de um framework de cinco critérios, exigindo linguagem mandatória, uma ação de relatório específica, uma autoridade reguladora alvo, entre outros elementos estruturais.
• Protocolo de Validação: O processo de anotação envolveu uma validação híbrida robusta: filtragem baseada em regras, revisão assistida por LLM e validação humana de duplo-cego. Esta pipeline resultou em um acordo interanotador (Kappa) de 0,613, garantindo a confiabilidade das classificações.
• Composição: 1.751 exemplos positivos (obrigações de relatório) e 3.502 exemplos negativos.
• Negativos Difíceis (Hard Negatives): 532 exemplos negativos (10,3%) foram selecionados especificamente para representar casos de fronteira desafiadores, como requisitos comportamentais e coordenação processual, para evitar o aprendizado de padrões superficiais.

Desenho Experimental

O estudo compara dois paradigmas de extração entre transformers genéricos e do domínio jurídico:

1. Classificação de Tokens Discriminativa: Usando BERT-base e Legal-BERT.
2. Extração de Span Generativa: Usando Llama-3.1-8B, Mistral-7B e Saul-7B (uma variante do Mistral com pré-treinamento contínuo jurídico).

Estratégias de Treinamento:

• Ajuste Fino Total (Full Fine-Tuning - FFT): Atualizando todos os parâmetros.
• Ajuste Eficiente de Parâmetros: LoRA para modelos BERT e QLoRA (quantização de 4 bits + LoRA) para LLMs.
• Baselines: Correspondência por Regex/Palavras-chave baseada em regras, Análise de Dependência (Dependency Parsing) e Few-Shot Prompting (sem atualizações de parâmetros).

Estrutura de Avaliação:

• Métricas: Precisão, Recall e F1-score baseados em correspondências exatas de spans.
• Validação Estatística: Teste t de Welch para comparações de múltiplos seeds do BERT e reamostragem bootstrap (1.000 iterações) para LLMs para estimar intervalos de confiança.
• Avaliação Cross-Dataset: Testado em um corpus regulatório externo da UE (Brandsma et al., 2025) para avaliar a especificidade (rejeição de declarações de não-relatório) e em um corpus de relatórios financeiros (Chuor, 2025) para avaliar a sensibilidade zero-shot.
• Explicabilidade: LIME para BERT e análise de pesos de atenção para LLMs.

Principais Resultados

Desempenho dos Modelos

• Paridade de Paradigmas: Ambas as abordagens discriminativa (BERT) e generativa (LLM) alcançaram desempenho alto e comparável. O melhor modelo generativo (Llama-3.1-8B com QLoRA) alcançou um F1 de 0,891, superando ligeiramente o melhor modelo discriminativo (Legal-BERT com FFT em 0,883), embora a diferença não tenha sido estatisticamente significativa ($p=0,082$).
• Adaptação de Domínio: O pré-treinamento jurídico ofereceu ganhos apenas marginais. O Legal-BERT superou o BERT genérico em 1,8 pontos de F1 em ajuste fino total, mas essa diferença não foi estatisticamente significativa ($p=0,307$). Da mesma forma, para modelos generativos, o Saul-7B, pré-treinado juridicamente, teve um desempenho negligenciável superior ao Mistral-7B genérico (lacuna de 0,3 pontos).
• Estratégia de Treinamento: O ajuste fino total superou significativamente os métodos eficientes de parâmetros (LoRA/QLoRA) em termos de F1-score ($p<0,01$), confirmando um trade-off entre precisão e eficiência. No entanto, os métodos eficientes de parâmetros ainda alcançaram resultados fortes (ex: Legal-BERT LoRA: 0,791 F1).
• Baselines: O ajuste fino supervisionado proporcionou ganhos substanciais sobre os baselines. O Few-shot prompting (0,762 F1) e a análise de dependência (0,727 F1) foram competitivos, mas inferiores aos modelos ajustados.

Eficiência de Dados e Curvas de Aprendizado

• Convergência: A análise da curva de aprendizado demonstrou que todos os modelos convergem em torno de 3.000 amostras, com retornos decrescentes após isso, validando a suficiência do tamanho do dataset EURO-5K.
• Aprendizado Precoce: O pré-treinamento jurídico (especificamente o Saul-7B) acelerou o aprendizado precoce em regimes de baixos dados (ex: alcançando quase metade de seu desempenho total com apenas 10 amostras), mas essa vantagem desapareceu conforme o volume de dados aumentava.

Generalização e Especificidade

• Aprendizado Especializado: A avaliação cross-dataset confirmou que os modelos atuam como extratores especializados de obrigações de relatório, em vez de classificadores regulatórios genéricos. Em um corpus externo de declarações regulatórias gerais, os modelos rejeitaram corretamente a maioria das obrigações de não-relatório (baixo recall de 12–17%), demonstrando alta especificidade.
• Sensibilidade Zero-Shot: Em um corpus de relatórios financeiros fora do domínio, os modelos alcançaram alto recall zero-shot (88,7%–90,3%), indicando que a estrutura semântica das obrigações de relatório foi aprendida, e não mera memorização da distribuição de treinamento.

Explicabilidade

• Os modelos enfatizaram consistentemente atores institucionais (ex: "Comissão", "Estados-Membros") e estruturas regulatórias.
• Crucialmente, os modelos avaliaram o contexto semântico em vez de depender apenas de palavras-chave. Por exemplo, distinguiram corretamente entre "deve notificar" (relatório) e "deve tornar público" (divulgação) dentro da mesma sentença, atribuindo pesos negativos aos termos de divulgação.

Significância e Contribuições

O artigo reivindica as seguintes contribuições:

1. Dataset EURO-5K: O lançamento do maior corpus anotado para extração de obrigações de relatório, apresentando um protocolo principiológico baseado em um framework de cinco critérios, uma pipeline de validação híbrida (LLM + duplo-cego) com Kappa de 0,613, e negativos difíceis desafiadores.
2. Comparação de Paradigmas: A primeira comparação sistemática entre os paradigmas discriminativo e generativo para esta tarefa, revelando que modelos generativos podem igualar ou exceder o desempenho discriminativo quando devidamente otimizados.
3. Insights de Adaptação de Domínio: Evidência de que a otimização sistemática de hiperparâmetros permite que modelos genéricos se aproximem do desempenho de modelos adaptados ao domínio, sugerindo que o pré-treinamento jurídico oferece benefícios modestos e não significativos para esta tarefa específica quando os recursos são otimizados.
4. Eficiência de Parâmetros: Demonstração dos trade-offs entre precisão e eficiência entre o ajuste fino total e os métodos eficientes de parâmetros (LoRA/QLoRA) em um contexto jurídico.
5. Implicações Políticas e Implantação Prática: O contexto de aplicação é crítico: o pacote de simplificação "Omnibus" da UE de 2025 identificou obrigações de relatório sobrepostas em três quadros de sustentabilidade, removendo ~80% das empresas do escopo de reporte e projetando uma economia de ~4,4 bilhões de euros anuais. Com a UE possuindo ~180.000 atos legais, o dataset aberto EURO-5K, os modelos treinados e a ferramenta pronta para implantação permitem automatizar essa análise de obrigações em escala, apoiando diretamente a meta da Comissão Europeia de reduzir a carga regulatória em 25%. A ferramenta inclui uma interface web interativa com visualizações de explicabilidade e exportação RDF compatível com o Vocabulário de Metadados de Requisitos de Relatório (RRMV) da UE.

Os autores concluem que, embora o pré-treinamento de domínio ofereça acelerações menores em regimes de poucos dados, a escolha da escala do modelo e da estratégia de treinamento (total vs. eficiente) é mais crítica do que a inicialização específica do domínio para alcançar o desempenho de extração de estado da arte.