💻 computer science

Do not be greedy, Think Twice: Sampling and Selection for Document-level Information Extraction

O artigo propõe o "ThinkTwice", um framework que melhora a extração de informações em nível de documento ao aproveitar a amostragem para gerar múltiplas saídas candidatas e selecionar a melhor delas por meio de concordância não supervisionada ou modelos de recompensa supervisionados, superando assim os métodos tradicionais de decodificação gananciosa.

Autores originais: Mikel Zubillaga, Oscar Sainz, Oier Lopez de Lacalle, Eneko Agirre

Publicado 2026-05-29

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mikel Zubillaga, Oscar Sainz, Oier Lopez de Lacalle, Eneko Agirre

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando resolver um quebra-cabeça complexo baseado em uma história longa e confusa. Seu objetivo é extrair fatos específicos (como quem fez o quê, onde e quando) e organizá-los em um relatório estruturado e organizado. É isso que o artigo chama de Extração de Informações em Nível de Documento.

Por muito tempo, quando computadores (especificamente Modelos de Linguagem Grandes ou LLMs) tentavam fazer isso, usavam um método chamado Decodificação Ganhosa. Pense nisso como um aluno fazendo uma prova que, a cada passo, escolhe a única resposta que parece mais provável de estar correta imediatamente, sem olhar adiante ou considerar outras possibilidades. Eles apenas correm para a linha de chegada com o primeiro caminho que parece claro.

Os autores deste artigo, Mikel Zubillaga e sua equipe, argumentam que essa abordagem de "correr para a linha de chegada" está, na verdade, impedindo o computador de avançar. Eles propõem um novo framework chamado THINKTWICE.

Veja como o THINKTWICE funciona, dividido em conceitos simples:

1. A Estratégia "Pense Duas Vezes" (Amostragem)

Em vez de pedir ao computador para dar apenas uma resposta, o THINKTWICE pede que ele gere muitas versões diferentes do relatório (o artigo usa 64 tentativas diferentes).

A Analogia: Imagine que você é um chef tentando fazer a sopa perfeita.
- A Decodificação Ganhosa é como provar a colherada que você acabou de fazer e decidir imediatamente: "Esta é a receita final", sem nunca tentar ajustar o sal ou adicionar mais ervas.
- O THINKTWICE é como cozinhar 64 versões ligeiramente diferentes da sopa. Uma pode estar muito salgada, outra muito apimentada, mas uma delas pode estar perfeita.

2. O "Juiz" (Seleção)

Uma vez que o computador gerou 64 relatórios diferentes, você precisa de uma maneira de escolher o melhor. O artigo testa duas maneiras de ser o "Juiz":

O Juiz Não Supervisionado (Votação F1): Este juiz olha para todos os 64 relatórios e pergunta: "Qual deles concorda mais com os outros?". Se 50 dos 64 relatórios dizem que o suspeito foi "João", e apenas 10 dizem "Maria", o juiz escolhe a versão com "João". É como uma decisão baseada no consenso, onde a resposta mais comum e consistente vence.
O Juiz Supervisionado (Modelo de Recompensa): Este é um juiz mais esperto que foi treinado em exemplos de relatórios "bons" versus "ruins". Ele aprende a identificar os detalhes sutis que tornam um relatório de alta qualidade, mesmo que não seja a resposta mais comum.

3. O Impulso do "Raciocínio"

O artigo também descobriu que usar modelos projetados para "pensar" (Modelos de Raciocínio) faz uma grande diferença.

A Analogia: Um modelo padrão é como um digitador rápido que apenas digita a primeira coisa que vem à mente. Um Modelo de Raciocínio é como um detetive que para para pensar: "Espere, se a bomba explodiu às 17h, o suspeito não poderia ter estado no banco às 16h".
O artigo descobriu que esses modelos "detetives" produzem material bruto muito melhor para o sistema THINKTWICE trabalhar, especialmente para tarefas complexas.

4. Resolvendo o Problema da "Sem Gabarito"

Para treinar o "Juiz Supervisionado", geralmente é necessário um gabarito (dados padrão-ouro) que inclua o processo de pensamento (rastreios de raciocínio) que o computador deveria ter usado. Mas, para este tipo específico de tarefa, esses gabaritos não existiam.

A Solução: Os autores usaram um truque inteligente chamado Amostragem por Rejeição. Eles pediram ao computador para gerar muitas tentativas, mantiveram as melhores e usaram essas tentativas "boas" como um gabarito falso para ensinar o computador a pensar melhor. É como um aluno corrigindo seus próprios testes de prática, mantendo apenas aqueles que acertou, e usando-os para estudar para a prova real.

O Que Eles Descobriram?

Pensar é melhor que correr: Usar o método "Pense Duas Vezes" (gerar muitas opções e escolher a melhor) consistentemente superou o método "Ganhoso" padrão (escolher a primeira resposta provável).
O raciocínio importa: Modelos projetados para raciocinar (pensar passo a passo) tiveram desempenho significativamente melhor do que modelos padrão.
O "Juiz" ajuda: Tanto o juiz simples de "votação popular" quanto o juiz treinado de "recompensa" melhoraram os resultados. O juiz treinado foi o melhor, estabelecendo um novo recorde de quão bem os computadores podem extrair informações de documentos.
Funciona em vários idiomas: Mesmo quando o sistema foi treinado apenas com dados em inglês, ele ainda conseguiu desempenhar bem em outros idiomas (como árabe ou chinês) ao usar este método, superando sistemas treinados especificamente nesses idiomas.

Em resumo: O artigo mostra que, se você quer que um computador extraia fatos de um documento longo, você não deve pedir apenas uma resposta. Você deve pedir que ele faça um brainstorm de 64 respostas diferentes e, em seguida, use um sistema inteligente para escolher a melhor. Essa mudança simples, combinada com modelos de "pensamento", leva a resultados muito mais precisos.

Resumo Técnico: THINKTWICE para Extração de Informações a Nível de Documento

Declaração do Problema

A Extração de Informações a Nível de Documento (DocIE) visa converter documentos em linguagem natural em templates estruturados contendo entidades, relações e eventos. Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham mostrado promessa nesta área, as práticas padrão dependem de decodificação gananciosa para garantir reprodutibilidade e evitar variabilidade na saída. No entanto, essa abordagem frequentemente falha em produzir a solução ótima, pois o token mais provável em cada etapa não necessariamente leva à melhor saída global. Essa limitação é particularmente aguda para modelos orientados ao raciocínio, onde a lacuna entre a saída gananciosa e a melhor saída amostrada possível (a pontuação "oráculo") é significativamente maior. Além disso, o campo carece de trajetórias de raciocínio "douradas" de alta qualidade necessárias para ajustar finamente modelos de raciocínio para DocIE, e os métodos existentes de Escala em Tempo de Teste (TTS) (como Votação Majoritária) são frequentemente inadequados para as saídas estruturadas e complexas exigidas na IE.

Metodologia: THINKTWICE

Os autores propõem o THINKTWICE, um framework de amostragem e seleção projetado para aproveitar a variabilidade inerente dos LLMs apenas decodificadores para encontrar soluções de maior qualidade. O framework opera em duas etapas principais:

Amostragem (Geração): Em vez de gerar uma única saída, o LLM é instruído a gerar $N$ templates candidatos (por exemplo, $N=64$ ) para um determinado documento e conjunto de diretrizes de anotação.
- Para modelos de raciocínio, o processo envolve gerar traços de raciocínio seguidos pela saída estruturada.
- Decodificação Constrained: Para garantir validade, a geração é restringida a seguir um esquema JSON predefinido.
- Geração de Dados Prateados: Para abordar a escassez de traços de raciocínio dourados, os autores empregam um método de amostragem por rejeição. Eles geram múltiplos pares de traço de raciocínio-template, avaliam-nos contra anotações douradas usando a métrica de avaliação do conjunto de dados e retêm os $K$ melhores pares. Esses pares "prateados" de alta qualidade são usados para ajustar finamente o modelo de raciocínio.
Seleção: Um módulo dedicado seleciona o template mais adequado entre os $N$ candidatos. O artigo introduz duas estratégias de seleção distintas:
- Seleção Não Supervisionada (Votação F1): Uma alternativa à Votação Majoritária. Em vez de selecionar a saída mais frequente (que pode estar vazia ou incorreta em tarefas complexas de IE), este método calcula a similaridade de pontuação F1 par a par entre todos os candidatos. O candidato com a maior pontuação de similaridade agregada em relação ao restante do conjunto é selecionado.
- Seleção Supervisionada (Modelo de Recompensa): Um modelo de recompensa é treinado em um conjunto de dados de preferência construído a partir dos dados prateados. Este conjunto de dados inclui pares de templates "escolhidos" (alta pontuação) e "rejeitados" (baixa pontuação). O modelo é treinado usando uma função de perda Bradley-Terry com margem para aprender a ranquear candidatos, selecionando subsequentemente aquele com a maior pontuação de recompensa prevista.

Contribuições Principais

Framework THINKTWICE: Uma arquitetura inovadora que desacopla geração e seleção, demonstrando que a amostragem de múltiplos candidatos seguida de uma estratégia de seleção supera a decodificação gananciosa padrão em DocIE.
Estratégias de Seleção Inovadoras:
- A introdução da Votação F1, um seletor não supervisionado adaptado para IE que supera a Votação Majoritária padrão ao utilizar métricas de similaridade contínuas em vez de correspondência binária.
- Um seletor supervisionado baseado em recompensa treinado em dados de preferência prateados gerados automaticamente, estabelecendo novos resultados state-of-the-art.
Amostragem por Rejeição para Dados Prateados: Um método para gerar traços de raciocínio de alta qualidade para treinar modelos de raciocínio na ausência de trajetórias douradas, permitindo o ajuste fino supervisionado eficaz.
Análise Empírica de Modelos de Raciocínio: Um estudo abrangente mostrando que LLMs orientados ao raciocínio superam consistentemente seus equivalentes não orientados ao raciocínio em DocIE, especialmente quando combinados com amostragem e seleção.

Resultados Experimentais

Os autores avaliaram o THINKTWICE nos conjuntos de dados MUC-4, MultiMUC (multilíngue) e BETTER Granular, utilizando as famílias de modelos Llama 3.3 e Qwen3.

Raciocínio vs. Não Raciocínio: Modelos de raciocínio superaram consistentemente modelos não orientados ao raciocínio em configurações zero-shot, com a lacuna de desempenho ampliando-se em conjuntos de dados complexos como o BETTER.
Desempenho Zero-Shot: O THINKTWICE com Votação F1 superou consistentemente as linhas de base de decodificação gananciosa. No conjunto de dados BETTER, a Votação F1 melhorou o desempenho do Qwen3 em mais de 3 pontos F1 em comparação com a decodificação gananciosa.
Desempenho Supervisionado: Quando combinado com ajuste fino supervisionado (usando os dados amostrados por rejeição) e o seletor de recompensa supervisionado, o THINKTWICE alcançou novos resultados state-of-the-art no MUC-4, superando significativamente métodos anteriores baseados em codificadores (como ITERX) e linhas de base gananciosas.
Transferência Cross-Lingual: Modelos ajustados finamente exclusivamente em dados em inglês, quando combinados com o seletor supervisionado, transferiram-se com sucesso para outros idiomas (Árabe, Farsi, Coreano, Russo, Chinês), superando sistemas treinados diretamente em dados do idioma-alvo.
Lacuna do Oráculo: Embora o THINKTWICE reduza significativamente a lacuna para o oráculo (a melhor saída amostrada possível), uma margem substancial permanece, indicando espaço para melhoria adicional nas estratégias de seleção.

Significado e Alegações

O artigo afirma que a decodificação gananciosa falha em explorar plenamente as capacidades dos LLMs modernos para Extração de Informações a Nível de Documento. Ao tratar a variabilidade de saída não como uma limitação, mas como um recurso, o THINKTWICE demonstra que as técnicas de Escala em Tempo de Teste (TTS) podem ser efetivamente adaptadas para tarefas de IE.

Os autores enfatizam que:

Simplesmente aumentar o tamanho do modelo ou usar decodificação gananciosa é insuficiente para desbloquear o potencial total dos modelos de raciocínio.
Estratégias eficazes de escala em tempo de teste (amostragem + seleção) são críticas para alcançar desempenho state-of-the-art.
Supervisão de alta qualidade para modelos de raciocínio pode ser sintetizada via amostragem por rejeição, superando a escassez de dados.
O framework proposto alcança resultados superiores em configurações monolíngues e cross-linguais, superando modelos proprietários (como o GPT-5.5 no contexto do artigo) e métodos supervisionados state-of-the-art anteriores.

O trabalho conclui que, embora a sobrecarga computacional aumente devido a múltiplas gerações, o trade-off produz ganhos substanciais de desempenho, e a lacuna restante em relação ao desempenho do oráculo sugere uma direção promissora para pesquisas futuras em IE.