Factuality on Demand: Controlling the Factuality-Informativeness Trade-off in Text Generation

Resumo Técnico: Geração Controlada por Factualidade (FCG)

1. Definição do Problema

Os Grandes Modelos de Linguagem (LLMs) possuem conhecimento interno com graus variados de confiabilidade, criando um compromisso inerente entre factualidade (precisão) e informatividade (detalhamento). Em domínios de alto risco (ex: médico, jurídico), os usuários requerem saídas conservadoras e altamente factuais, enquanto tarefas criativas ou de brainstorming frequentemente priorizam o conteúdo rico, apesar dos potenciais riscos factuais.

Os LLMs de fronteira atuais carecem de um mecanismo integrado para controlar esse compromisso. Embora os usuários possam tentar guiar o comportamento via prompts (ex: "seja mais factual"), descobertas empíricas mostram que esses modelos não ajustam seus outputs de forma confiável para atender a metas de factualidade específicas. Benchmarks de avaliação existentes, como o FactScore, revelam que modelos prontos para uso (off-the-shelf) frequentemente falham em satisfazer até mesmo restrições de factualidade moderadas ou estritas, necessitando de uma alternativa controlável que permita aos usuários especificar um nível de factualidade desejado.

2. Metodologia: Geração Controlada por Factualidade (FCG)

Os autores propõem a Geração Controlada por Factualidade (FCG), um framework onde um LLM recebe uma consulta e uma restrição numérica de factualidade $c \in [0, 1]$ como entrada, gerando uma resposta onde a proporção de afirmações factuais suportadas atende ou excede $c$, ao mesmo tempo em que maximiza a informatividade.

A. Pipeline de Geração de Dados Sintéticos
Como não existe um conjunto de dados rotulado existente para triplas (pergunta, restrição de factualidade, resposta padrão/gold), os autores introduzem um pipeline sintético guiado por confiança para construir os dados de treinamento:

1. Geração Inicial: Um modelo base gera uma resposta detalhada e sem restrições ($r_0$) para uma determinada pergunta.
2. Segmentação de Fatos: A resposta é segmentada em afirmações factuais atômicas.
3. Pontuação de Confiança: O modelo é instruído a avaliar a confiança de cada fato atômico (ex: "Isso é Verdadeiro ou Falso?"), derivando uma pontuação de probabilidade.
4. Poda Iterativa: Os fatos são classificados por confiança. Para atender a uma restrição alvo $c$, o sistema remove progressivamente os fatos de menor confiança até que o subconjunto restante satisfaça o limiar de factualidade.
5. Reconstrução: Os fatos restantes de alta confiança são fundidos novamente em uma resposta fluente, preservando a fraseologia original sempre que possível.
   Este processo é repetido através de uma gama de valores de $c$ (ex: 0,1 a 1,0) para criar conjuntos de respostas alinhados para ajuste fino supervisionado (supervised fine-tuning).

B. Treinamento e Inferência
Os autores realizam o ajuste fino de um modelo Mistral-7B nas triplas sintéticas $(pergunta, c, resposta)$. Durante a inferência, o modelo é condicionado ao nível de factualidade especificado pelo usuário $c$, permitindo que ele ajuste dinamicamente sua saída para atender à restrição sem exigir filtragem iterativa ou reclassificação pós-hoc.

C. Métricas de Avaliação
O desempenho é avaliado em dois eixos usando o FactScore:

• Aderência à Factualidade: A proporção de gerações onde a pontuação de factualidade $f(o) \ge c$.
• Informatividade: O número de afirmações atômicas validadas na saída, normalizado pelo comprimento.

3. Principais Contribuições

• Definição da Tarefa: Introdução da FCG como uma tarefa de geração controlada, condicionando os outputs de LLM a um limiar de factualidade especificado pelo usuário.
• Framework de Treinamento Sintético: Desenvolvimento de um novo pipeline para gerar dados de treinamento ao podar sistematicamente fatos de baixa confiança de gerações sem restrições, permitindo o aprendizado supervisionado do compromisso factualidade-informatividade.
• Validação Empírica: Demonstração de que o ajuste fino sobre esses dados sintéticos supera significativamente os baselines baseados em prompting no cumprimento de restrições de factualidade.

4. Resultados

Os experimentos foram conduzidos em uma tarefa de geração de biografia usando 500 entidades (450 treinamento, 50 validação, 183 teste).

• Aderência à Factualidade:

  • Baselines de Prompting: O prompting padrão (Inferência Controlada por Factualidade, FCI) falhou em melhorar a aderência; em alguns casos (ex: $c=0,9$), a aderência caiu em relação ao baseline sem restrições (3,8% vs. 5,5%).
  • Treinamento FCG: O modelo com ajuste fino mostrou melhorias substanciais. A aderência aumentou em 17,2% em $c=0,8$ e 130,0% em $c=0,9$ em relação ao baseline.
  • Restrições Estritas: No nível mais estrito ($c=1,0$, exigindo que toda a informação seja correta), os métodos baseline e FCI alcançaram 0% de aderência, enquanto o modelo FCG alcançou 23,6%.

• Compromisso Factualidade–Informatividade:

  • O modelo FCG desloca a fronteira de compromisso para fora. Para qualquer nível de factualidade dado, o FCG produz respostas com maior informatividade (mais fatos suportados) do que os baselines.
  • Notavelmente, em $c=1,0$, o modelo FCG forneceu respostas não vazias e totalmente factuais, enquanto o baseline de inferência efetivamente teve que podar todo o conteúdo para evitar alucinações, resultando em zero informatividade.

5. Significância e Alegações

O artigo alega que a FCG fornece um mecanismo confiável para que os usuários customizem o equilíbrio factualidade-informatividade dos outputs de LLM de acordo com necessidades específicas de aplicação. Ao internalizar o compromisso através de treinamento supervisionado em dados sintéticos, o modelo aprende a "descartar os detalhes menos certos, mas manter todo o resto" quando uma alta factualidade é solicitada.

Os autores posicionam este trabalho como um passo em direção a LLMs mais confiáveis e flexíveis, particularmente para tarefas intensivas em conhecimento. Eles enfatizam que seu método melhora a controlabilidade sem o overhead computacional de filtragem pós-hoc ou amostragem de rejeição usados em outros frameworks.

Limitações Reconhecidas:

• O estudo é atualmente limitado ao inglês e a tarefas de geração de biografia.
• Os experimentos foram conduzidos em um modelo de tamanho médio (Mistral-7B); a escalabilidade para arquiteturas de ponta maiores permanece não testada.
• A aplicabilidade do framework a outros idiomas e tarefas generativas complexas (ex: compreensão multimodal) requer investigação adicional.