Resumo Técnico: Abstração Seletiva para Geração de Texto de Longa Extensão Confiável

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) são propensos a erros fatuais, o que erode a confiança do usuário e limita a adoção em domínios de alto risco, como saúde e direito. Embora existam mecanismos de estimativa de incerteza para mitigar isso, as abordagens atuais dependem de uma decisão binária de "tudo ou nada": ou o modelo gera uma resposta ou ele se abstém inteiramente. Essa abordagem binária é excessivamente restritiva para a geração de textos longos. Respostas longas frequentemente contêm inúmeras afirmações fatuais com diferentes níveis de incerteza; abster-se de uma geração inteira devido a um único detalhe incerto descarta informações valiosas. Por outro lado, gerar o texto completo sem modificação corre o risco de incluir alucinações. O artigo identifica a necessidade crítica de uma abordagem mais granular que permita aos modelos trocar especificidade por confiabilidade sem descartar respostas inteiras.

Metodologia: Abstração Seletiva (SA)

Os autores introduzem a Abstração Seletiva (SA), um framework que permite aos LLMs reduzir o detalhamento de conteúdo incerto em vez de removê-lo inteiramente. A ideia central é substituir afirmações de baixa confiança por abstrações de maior confiança e menor especificidade.

Formalização do Framework

A SA é formalizada através das lentes de risco seletivo e cobertura:

• Risco: Definido como a taxa de erros fatuais (alucinações) no texto gerado.
• Cobertura: Definida como a fração de informação retida em relação à geração original.
• Compromisso (Trade-off): Ao variar um limiar de confiança $\theta$, a SA induz uma curva de compromisso onde limiares mais altos reduzem o risco (ao aumentar a abstração), mas também reduzem a cobertura (ao remover a especificidade).

Abstração Seletiva por Átomo

O artigo propõe uma instanciação específica chamada Abstração Seletiva por Átomo, que opera ao nível de afirmação através de um pipeline de quatro estágios:

1. Geração: O LLM gera uma resposta inicial $T$ para um prompt $p$.
2. Atomização: A resposta é decomposta em afirmações atômicas (átomos). Estas são afirmações curtas e autossuficientes, cada uma expressando um único fato (ex: "Amelia Earhart nasceu em Atchison, Kansas").
3. Abstração: Este é o estágio central de processamento, consistindo em três etapas:
   • Elicitação de Confiança: O modelo atribui um escore de confiança a cada átomo.
   • Geração de Abstração: Para átomos com confiança abaixo de um limiar $\theta$, o modelo gera uma sequência de abstrações progressivamente mais gerais (ex: "Atchison, Kansas" $\to$ "Kansas" $\to$ "Midwestern US" $\to$ "US"). A sequência termina com a abstenção total ($\top$).
   • Seleção: O modelo atribui escores de confiança à sequência de abstração. Ele seleciona a abstração mais específica na sequência que satisfaça o limiar de confiança $\theta$. Se nenhuma abstração atender ao limiar, o átomo é alvo de abstenção.
4. Reconstrução: As abstrações selecionadas são reconstruídas em um texto coerente $T'$.

Pipeline de Avaliação

Para avaliar a SA, os autores desenvolveram um pipeline de ponta a ponta para geração factual aberta:

• Medição de Risco: Utiliza um sistema de verificação de fatos baseado em agentes que verifica afirmações atômicas contra a Wikipedia. Uma afirmação é rotulada como "suportada" se evidências forem encontradas; caso contrário, é "não suportada". O risco é calculado como $1 - \text{acurácia}$.
• Medição de Cobertura: Utiliza uma medida informacional. O conteúdo de informação de uma afirmação é quantificado pela redução de entropia que ela proporciona em relação ao conjunto de entidades compatíveis (ex: "nasceu em Londres" é mais informativo do que "nasceu na Europa" porque estreita o conjunto de pessoas de forma mais significativa). A cobertura é a razão da informação retida em $T'$ em relação a $T$.
• Métricas: O desempenho é resumido usando curvas de Risco-Cobertura (RC) e a Área Sob a Curva de Risco-Cobertura (AURC). Um AURC menor indica um melhor compromisso.

Principais Contribuições

1. Framework de Abstração Seletiva: Um framework geral para trocar especificidade por confiabilidade na geração de texto de longa extensão, formalizado via risco seletivo e cobertura.
2. Instanciação por Átomo: Um procedimento ao nível de afirmação que substitui seletivamente afirmações incertas por abstrações de maior confiança, em vez de deletá-las.
3. Pipeline de Avaliação: Um novo pipeline de ponta a ponta para geração aberta que instancia o risco através da correção factual e a cobertura através de uma medida informacional do conteúdo retido.
4. Validação Empírica: Demonstrações em seis LLMs de código aberto e dois benchmarks (FactScore e LongFact-Objects) mostrando melhorias consistentes sobre as bases de comparação.
5. Algoritmo de Seleção de Limiar: Um algoritmo guiado pelo risco baseado em predição conformal de divisão (split conformal prediction) para selecionar limiares de confiança que atendam a riscos alvo definidos pelo usuário com alta probabilidade.

Resultados

Os autores avaliaram o método em seis modelos de código aberto (incluindo GPT-OSS, Qwen3 e Llama 3.3) utilizando os benchmarks FactScore e LongFact-Objects.

• Desempenho vs. Baselines: A SA por átomo superou consistentemente as bases de comparação existentes, incluindo Redação Seletiva (remover átomos incertos inteiramente), Abstração Inline (gerar com uma granularidade mais grosseira desde o início) e Auto-Revisão (reescrita post-hoc).
• Melhorias no AURC: A SA por átomo melhorou o AURC em até 27,73% em relação à remoção de afirmações (Redação) no benchmark FactScore. As melhorias médias foram de 17,43% no FactScore e 13,77% no LongFact.
• Compromisso Risco-Cobertura: O método alcançou uma curva de compromisso mais suave, dominando as bases de comparação em todo o intervalo de cobertura. Em níveis de cobertura equivalentes, a SA por átomo alcançou um risco significativamente menor (lacuna média de ~10 pontos percentuais) comparado às bases de comparação Inline e Auto-Revisão.
• Seleção de Limiar: O algoritmo proposto selecionou com sucesso limiares que mantiveram o risco empírico próximo aos riscos alvo definidos pelo usuário em diferentes modelos e datasets.

Significância e Alegações

O artigo argumenta que a confiabilidade na geração de longa extensão não é uma escolha binária entre responder ou abster-se, mas sim um espectro de especificidade versus correção. A significância deste trabalho reside em demonstrar que reduzir a especificidade pode aumentar a acurácia e a confiabilidade enquanto preserva a maior parte do significado original.

Ao operar ao nível de afirmações individuais, o método proposto evita a perda abrupta de informação associada à exclusão de sentenças ou afirmações inteiras. Em vez disso, fornece controle direcionado e específico para cada afirmação sobre a incerteza. Os autores posicionam a Abstração Seletiva como um passo em direção a paradigmas de geração que raciocinam explicitamente sobre a quantidade apropriada de detalhes em uma resposta, sugerindo que, em ambientes de alto risco, respostas menos específicas são preferíveis a erros confiantes.

O artigo permanece modesto quanto a direções futuras, observando que a qualidade da abstração depende fortemente da função de pontuação de confiança (a confiança verbalizada foi considerada superior aos escores baseados em log-prob) e que modelar dependências entre afirmações (em vez de tratá-las como independentes) poderia melhorar ainda mais os resultados.