Building an Ensemble LLM Semantic Tagger for UN Security Council Resolutions

Este artigo apresenta uma metodologia de ensemble baseada em LLMs que utiliza as métricas de Razão de Preservação de Conteúdo (CPR) e Adequação de Tags (TWF) para selecionar automaticamente as melhores saídas de múltiplos modelos, garantindo a limpeza e o etiquetamento semântico precisos e econômicos das resoluções do Conselho de Segurança da ONU.

O essencial

Imagine que você tem uma biblioteca gigante de documentos antigos, escritos à máquina nos anos 40, 50 e 60. Esses documentos são as Resoluções do Conselho de Segurança da ONU. O problema é que, como foram digitalizados por scanners antigos, o texto está cheio de erros: letras trocadas, linhas quebradas no meio da frase e, pior ainda, o texto está em duas colunas (uma em inglês, outra em francês), o que faz com que a máquina leia tudo misturado, como se você estivesse tentando ler um livro onde as páginas estão coladas lado a lado.

O objetivo do pesquisador Hussein Ghaly foi criar um "robô inteligente" capaz de:

1. Limpar essa bagunça (arrumar o texto).
2. Colocar etiquetas (tags) em palavras importantes, como "países", "datas", "organizações" e "eventos", para que computadores possam entender o que está escrito.

Aqui está como ele fez isso, explicado de forma simples:

1. O Problema: A "Batalha dos Robôs"

O autor usou Inteligência Artificial (especificamente modelos de linguagem como o GPT). Mas há um problema: esses robôs são um pouco imprevisíveis. Se você pedir a mesma coisa duas vezes, eles podem dar respostas ligeiramente diferentes. Às vezes, eles inventam coisas (alucinações) ou esquecem partes do texto original.

Para resolver isso, o autor não confiou em apenas um robô. Ele criou um time de robôs (um "ensemble"). Ele pediu para vários modelos diferentes (do gigante GPT-4.1 ao pequeno GPT-4.1-mini) fazerem o trabalho várias vezes.

2. A Solução: O "Juiz" e as "Regras do Jogo"

Como escolher a melhor resposta entre tantas opções? O autor criou duas regras de ouro (métricas) para julgar quem fez o melhor trabalho:

• A Regra da Fidelidade (CPR - Razão de Preservação de Conteúdo):
  Imagine que você pediu a um pintor para copiar um quadro, mas adicionar apenas uma moldura. Se o pintor mudar a cor do céu ou apagar uma árvore, ele falhou.
  O "Juiz" compara o texto original com o texto do robô. Ele conta quantas "peças" de texto (grupos de duas letras) foram mantidas. Se o robô apagou ou inventou algo, a nota cai. O objetivo é: mude o mínimo possível, apenas limpe e etiquete.

• A Regra da Organização (TWF - Bom Formato das Etiquetas):
  Imagine que você está organizando uma mala de roupas. Você precisa fechar a gaveta depois de colocar a camisa. Se você deixar a gaveta aberta ou misturar as roupas, a mala fica bagunçada.
  No mundo digital, isso significa: se você abre uma etiqueta <país>, você tem que fechar com </país>. Se o robô esqueceu de fechar, a nota é zero.

3. O Resultado: O "Robô Barato" vs. O "Robô Caríssimo"

O autor testou vários modelos, desde os superpoderosos (e caros) até os modelos menores e mais rápidos.

• O Campeão: O modelo GPT-4.1 foi o melhor de todos, conseguindo limpar e etiquetar quase perfeitamente.
• A Grande Surpresa: O modelo GPT-4.1-mini (uma versão menor e mais barata) fez um trabalho quase tão bom quanto o campeão, mas custou 80% menos.

É como se você pudesse contratar um mestre de obras famoso para reformar sua casa, mas descobrisse que um ajudante muito talentoso consegue fazer o mesmo trabalho por um quarto do preço.

4. Por que isso é importante?

Antes desse trabalho, transformar esses documentos antigos em algo que computadores entendem seria uma tarefa manual impossível, levando anos.

Com esse sistema:

1. Economia: A ONU (ou qualquer organização) pode processar milhões de documentos gastando muito menos dinheiro, escolhendo o "robô" certo para o trabalho.
2. Conhecimento: Ao etiquetar tudo corretamente, é possível criar um "Mapa do Tesouro" (um Gráfico de Conhecimento). Isso permite que, no futuro, você pesquise algo como "todas as resoluções sobre paz na África em 1990" e o computador encontre instantaneamente, conectando pessoas, lugares e eventos que antes estavam escondidos em pilhas de papel digital.

Resumo em uma frase

O autor criou um sistema inteligente que usa uma equipe de robôs de IA, julgados por regras rigorosas de fidelidade e organização, para transformar documentos históricos bagunçados da ONU em dados limpos e úteis, descobrindo que robôs menores e mais baratos podem fazer o trabalho quase tão bem quanto os gigantes caros.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Building an Ensemble LLM Semantic Tagger for UN Security Council Resolutions", apresentado em português:

Resumo Técnico: Taggeamento Semântico de Resoluções do Conselho de Segurança da ONU com Ensemble de LLMs

1. Problema e Contexto

O artigo aborda o desafio de realizar o taggeamento semântico (anotação de entidades e conceitos) em documentos históricos da Organização das Nações Unidas (ONU), especificamente as resoluções do Conselho de Segurança (1946-2025).

• Desafios de Dados: Os documentos antigos foram digitados em máquinas de escrever, digitalizados e processados por OCR (Reconhecimento Óptico de Caracteres), resultando em textos ruidosos. Um problema crítico é o formato de duas colunas (comum até os anos 80), onde a segunda coluna frequentemente contém a tradução em francês do texto inglês da primeira, dificultando o processamento por ferramentas NLP tradicionais.
• Desafios de Modelos: O uso de Grandes Modelos de Linguagem (LLMs) para essa tarefa enfrenta dois obstáculos principais:
  1. Variabilidade Estocástica: LLMs geram saídas diferentes para o mesmo prompt devido a parâmetros como "temperatura", o que é problemático para tarefas que exigem consistência e fidelidade ao texto original.
  2. Medição de Qualidade: A dificuldade em determinar objetivamente qual saída de um LLM é a "melhor" ou se o modelo está alucinando (adicionando conteúdo não solicitado) ou omitindo partes do texto.

2. Metodologia

O autor propõe uma metodologia baseada em Ensemble de LLMs (sistema de conjunto) que utiliza múltiplas execuções de diferentes modelos para selecionar a melhor saída com base em métricas rigorosas. O processo é dividido em duas etapas:

A. Limpeza de Texto (Cleaning):

• Objetivo: Converter o texto de duas colunas para uma única coluna, corrigir erros de OCR, remover hífens de quebra de linha e separar textos em inglês e francês.
• Execução: O mesmo prompt é enviado a 7 modelos diferentes (variações de GPT-4 e GPT-5, incluindo versões "mini" e "nano") duas vezes cada (temperatura = 1 para permitir variabilidade controlada).
• Seleção: Das 14 saídas geradas por documento, a que obtém a melhor pontuação na métrica de preservação de conteúdo é selecionada.

B. Taggeamento Semântico:

• Objetivo: Anotar o texto limpo com tags XML específicas (<location>, <entity>, <event>, <organization>, <date>) sem alterar o conteúdo original.
• Execução: Similar à limpeza, múltiplos modelos geram saídas que são avaliadas por três métricas.
• Seleção: A melhor saída é escolhida com base em uma ordenação hierárquica: Preservação de Conteúdo > Formatação das Tags > Quantidade de Tags Identificadas.

Métricas de Avaliação Propostas:
Para garantir a qualidade e evitar alucinações, o artigo introduz duas métricas principais:

1. Razão de Preservação de Conteúdo (CPR - Content Preservation Ratio): Mede a fidelidade do texto de saída em relação à entrada. Calcula a frequência de bigrams (pares de caracteres) na entrada versus na saída. Penaliza adições e omissões, garantindo que o LLM não altere o texto original além das tags necessárias.
   • Fórmula: Baseada na diferença absoluta da frequência de bigrams entre entrada e saída.
2. Bom Formato das Tags (TWF - Tag Well-Formedness): Garante que a estrutura XML seja válida (cada tag de abertura tem uma correspondente de fechamento e não há tags não fechadas).
3. Número de Tags (nT): Busca maximizar o recall (quantidade de tags encontradas), assumindo que, em um ensemble, a concordância entre múltiplos modelos aumentará a confiança nas tags finais.

3. Principais Contribuições

• Pipeline de Processamento: Uma abordagem escalável para limpar e anotar semanticamente resoluções históricas da ONU.
• Novas Métricas: Introdução do CPR e TWF para avaliar tarefas de transformação de documentos por LLMs, focando em fidelidade e estrutura.
• Análise de Custo-Benefício: Comparação empírica de modelos de diferentes tamanhos e gerações, demonstrando como modelos menores podem oferecer desempenho comparável a custos drasticamente menores.
• Corpus Anotado: Criação de um conjunto de dados semânticamente anotado que serve como base para a construção de Grafos de Conhecimento (Knowledge Graphs) da ONU.

4. Resultados

Os experimentos foram realizados em uma amostra de 10 documentos:

• Desempenho na Limpeza: O modelo GPT-4.1 obteve o melhor CPR (84,9%). No entanto, o GPT-4.1-mini alcançou um desempenho comparável (83,5%) com apenas 20% do custo do modelo principal.
• Desempenho no Taggeamento: O GPT-4.1 liderou com CPR de 99,99% e TWF de 99,92%. O GPT-4.1-mini novamente mostrou-se altamente eficiente, atingindo CPR de 99,92% e TWF de 99,64% com cerca de 19% do custo do modelo maior.
• Eficiência: Modelos menores ("nano") foram mais rápidos, mas apresentaram desempenho inferior na limpeza de documentos complexos.
• Conclusão dos Resultados: É possível construir um sistema robusto utilizando modelos menores e mais baratos, desde que o sistema de ensemble selecione a melhor saída baseada nas métricas propostas.

5. Significado e Impacto

• Viabilidade Econômica: A abordagem demonstra que tarefas intensivas de dados (como processar décadas de documentos da ONU) podem ser realizadas com custos comerciais significativamente reduzidos ao otimizar a escolha do modelo via ensemble.
• Construção de Grafos de Conhecimento: O corpus resultante permite a criação de estruturas de dados máquina-legíveis, conectando entidades, mandatos e eventos, alinhados com padrões como Akoma Ntoso.
• Controle e Transparência: O método oferece uma maneira mais controlada e mensurável de usar LLMs para tarefas críticas, reduzindo o risco de alucinações e garantindo a integridade dos dados históricos.
• Futuro: O trabalho sugere que futuros sistemas de ensemble podem integrar múltiplas saídas (em vez de apenas escolher uma) para aumentar a confiança nas tags e criar um corpus consolidado e altamente preciso.

Em suma, o artigo valida que, combinando a variabilidade estocástica dos LLMs com métricas de avaliação rigorosas, é possível criar sistemas de anotação semântica confiáveis, precisos e economicamente viáveis para documentos institucionais complexos.