The GELATO Dataset for Legislative NER

Resumo Técnico: O Dataset GELATO para NER Legislativo

1. Problema e Motivação

A extração automática de entidades nomeadas (NER) no domínio legislativo dos EUA apresenta desafios únicos que os modelos e conjuntos de dados tradicionais (como CoNLL ou domínios de notícias) não conseguem abordar adequadamente.

• Complexidade do Domínio: Textos legislativos possuem terminologia especializada, alta densidade de citações, referências cruzadas e estruturas sintáticas distintas.
• Limitações de Ontologias Existentes: Ontologias legais anteriores (como LKIF) focam em julgamentos e jurisprudência, não capturando entidades específicas da legislação, como projetos de lei, fundos, programas governamentais e classes protegidas.
• Falta de Dados: Não existia um dataset anotado publicamente para o Congresso dos EUA que utilizasse uma ontologia de dois níveis projetada especificamente para a estrutura de bills (projetos de lei).

2. Metodologia

A. O Dataset GELATO

• Origem: Compilado a partir de 131 projetos de lei (House e Senate) do 118º Congresso dos EUA (números 100-200).
• Divisão:
  • Treino: 80 House bills (77.372 tokens).
  • Validação (Dev): 21 House bills (23.819 tokens).
  • Teste: 30 Senate bills (31.740 tokens).
• Anotação: Realizada por três anotadores com consenso e arbitragem, resultando em alta concordância inter-anotador (F1 entre 73% e 80%).

B. Ontologia de Dois Níveis (GELATO)
A ontologia proposta é hierárquica, composta por 6 classes de nível superior e 30 subclasses:

1. Person (Pessoa): Subclasses: Member (membro do congresso), Title (títulos oficiais), Individual.
2. Organization (Organização): Subclasses: Nation, State, Locality, Committee, Agency, Legislative Body, International Institution, Association.
3. Document (Documento): Subclasses: Code, Bill, Reference, Parenthetical, Treaty, Report.
4. Act (Lei/Ato): Subclasses: Public Act, Amendment.
5. Abstraction (Abstração): Subclasses: Program, System, Infrastructure, Fund, Doctrine, Case, Specification, Session.
6. Class (Classe): Subclasses: Protected Class (grupos protegidos por lei) e Non-Protected Class.

C. Pipeline de Modelagem
O artigo propõe uma abordagem híbrida em duas etapas:

1. Nível 1 (Predição de Classe Superior): Fine-tuning de modelos transformadores (BERT e RoBERTa, nas versões base e large) para classificar o tipo de entidade de nível superior (ex: identificar que "Senate" é uma Organization).
2. Nível 2 (Predição de Subclasse): Uso de Grandes Modelos de Linguagem (LLMs), especificamente o Qwen/Qwen3-32B, com prompts otimizados via DSPy. O LLM recebe a etiqueta de nível 1, o contexto (janela de 50 tokens) e a lista de subclasse possíveis para refinar a classificação (ex: classificar "Senate" especificamente como Legislative Body).

3. Contribuições Principais

• GELATO Ontology: Introdução de uma ontologia de dois níveis adaptada especificamente para textos legislativos dos EUA, superando limitações de ontologias legais genéricas.
• Dataset Anotado: Liberação pública do primeiro dataset de bills do Congresso dos EUA com anotação NER granular e validada.
• Pipeline Híbrido: Demonstração de uma arquitetura que combina modelos transformadores eficientes (para extração de entidades de nível 1) com LLMs (para classificação fina de nível 2), aproveitando o conhecimento pré-treinado dos LLMs sem necessidade de fine-tuning pesado para a segunda etapa.
• Benchmarks: Estabelecimento de linhas de base (baselines) para futuras pesquisas em NER legislativo.

4. Resultados e Análise

Desempenho do Nível 1:

• RoBERTa-Large obteve o melhor desempenho com F1 = 88,72.
• BERT-Base teve o pior desempenho (F1 = 68,09).
• A superioridade do RoBERTa é atribuída ao seu vocabulário maior (50k vs 30k) e estratégias de tokenização (Byte-Pair Encoding vs WordPiece), que lidam melhor com a terminologia específica e a densidade de pontuação dos textos legislativos.

Desempenho do Nível 2:

• O uso de LLMs (Qwen) para a segunda etapa resultou em uma queda de desempenho em relação ao nível 1 (aprox. 20 pontos de F1 a menos para RoBERTa e 14-15 para BERT).
• Fatores de Queda:
  • Erro em Cascata: Erros no Nível 1 propagam-se inevitavelmente para o Nível 2, pois o LLM depende da etiqueta de nível 1 correta.
  • Semelhança Semântica: Dificuldade em distinguir entre classes semanticamente próximas (ex: Member vs Name dentro de Person).
  • Refusas do LLM: Em alguns casos, o LLM recusou-se a escolher uma etiqueta, gerando erros automáticos.
• Melhores Resultados por Tipo: Modelos performaram bem em tipos concretos (Bill, Title), mas mal em tipos abstratos ou referências complexas (Parenthetical, Amendment).

Análise de Erros:

• A classe Class (grupos de pessoas) foi extremamente difícil para os modelos, frequentemente sendo classificada como "O" (fora da entidade) ou confundida com Person.
• A distinção entre Organization e grupos de organizações também apresentou desafios.

5. Significado e Implicações

• Validação de Arquiteturas Híbridas: O estudo valida que a combinação de modelos menores (fine-tuned) para extração bruta e LLMs para refinamento é uma estratégia viável para domínios especializados, reduzindo a necessidade de fine-tuning massivo de LLMs.
• Avanço em NLP Legal: O dataset GELATO preenche uma lacuna crítica, permitindo o desenvolvimento de ferramentas para rastreamento legislativo, análise de políticas e transparência governamental.
• Desafios Futuros: O trabalho destaca a necessidade de mais dados de treinamento para classes raras (como Case e Treaty, que não apareceram no dataset) e a importância de desenhos de ontologia que minimizem a ambiguidade semântica para evitar confusão em LLMs.

Em suma, o artigo fornece uma base sólida e recursos públicos para avançar o estado da arte na extração de informações de textos legislativos complexos, demonstrando tanto o potencial quanto as limitações atuais das abordagens baseadas em transformadores e LLMs.