How much of an LLM-generated clinical corpus is actually new? A production-scale measurement of content redundancy for provenance classification

Resumo Técnico: "Quanto de um corpus clínico gerado por LLM é realmente novo?"

Definição do Problema
O aprendizado de máquina clínico depende cada vez mais de corpora de treinamento gerados por Modelos de Linguagem de Grande Escala (LLMs) em vez de anotados manualmente por clínicos. Esses corpora sintéticos são tipicamente descritos, compartilhados e consumidos com base em sua escala relatada (ex: contagem total de tokens ou número de itens extraídos). No entanto, essa prática assume que o volume equivale ao conteúdo de informação. Os autores postulam que corpora sintéticos gerados pela aplicação de regras de extração consistentes a textos clínicos repetitivos podem conter uma duplicação substancial, onde o tamanho aparente do corpus excede significativamente a informação distinta que ele carrega. Essa inflação afeta como os custos de treinamento são estimados e, criticamente, como a distribuição dos dados é interpretada para uso clínico. Antes deste trabalho, o conteúdo de informação de um output de LLM clínico multitarefa não havia sido medido em relação ao seu tamanho bruto em escala de produção.

Metodologia
O estudo analisa o output completo de um pipeline de extração clínica multiagente aplicado a 167.034 narrativas de pacientes do corpus PMC-Patients. O pipeline utiliza um modelo gerador (Llama-3.3-70B) e um modelo verificador (MMed-Llama-3.1-70B) para produzir outputs estruturados através de onze canais de tarefas, dez dos quais contêm texto livre.

A metodologia central envolve a Decomposição de Redundância Baseada em Proveniência (PRD), um sistema de classificação ao nível de token que categoriza cada token de saída em cinco categorias de proveniência:

1. Texto fonte único: Narrativas de pacientes desduplicadas.
2. Conteúdo gerado único: Texto produzido pelo modelo que aparece apenas uma vez.
3. Conteúdo gerado duplicado: Texto produzido pelo modelo repetido entre registros.
4. Contexto copiado: Narrativas de origem reproduzidas literalmente dentro de campos de contexto por item.
5. Scaffold (Estrutura): Metadados estruturais (identificadores, offsets, valores enumerados).

Para validar esses achados independentemente das etiquetas de proveniência, os autores aplicaram compressão sem perdas (usando gzip, bzip2, LZMA e PPMD) a quatro fluxos distintos de tokens: o corpus completo, o subconjunto único treinável, o fluxo de contexto copiado e o fluxo de geração duplicada.

Finalmente, os autores conduziram um experimento controlado downstream para medir o impacto da redundância no desempenho do modelo. Eles adaptaram um codificador clínico (BioClinical ModernBERT) em três versões do corpus (raw/bruto, desduplicado e com remoção de contexto) sob um orçamento de tokens idêntico. Os codificadores adaptados foram avaliados em benchmarks externos de reconhecimento de doenças anotados por humanos (NCBI-Disease e BC5CDR-Disease) usando uma sonda linear.

Principais Contribuições

1. Medição em Escala de Produção: O artigo fornece a primeira medição da lacuna entre o conteúdo de informação aparente e real em um corpus de extração clínica de LLM multitarefa, estabelecendo que as contagens brutas de tokens podem superestimar o conteúdo em cerca de nove vezes.
2. Identificação de Mecanismos: Identifica e quantifica separadamente dois mecanismos de redundância estruturalmente distintos:
   • Redundância de cópia de contexto: Cópia literal de narrativas de origem em campos por item (removível sem perdas).
   • Redundância de duplicação de geração: Repetição de texto gerado entre registros devido a regularidades do modelo (requer desduplicação de conteúdo).
3. Padrões de Relato e Ferramentas: Os autores propõem um padrão de relato compacto para corpora clínicos sintéticos, introduzindo a Razão de Conteúdo Único Treinável (TUR) e a Razão de Cópia de Contexto (CCR). Eles também lançam uma ferramenta de código aberto que implementa a PRD para calcular essas métricas para qualquer pipeline de extração multitarefa.

Resultados

• Magnitude da Redundância: Dos 2,51 bilhões de tokens gerados, apenas 10,9% (272,6 milhões de tokens) constitui conteúdo único treinável. 79,4% é redundante e 9,7% é scaffold. O conteúdo redundante sozinho é 19,1 vezes o tamanho do texto fonte único.
• Distribuição de Mecanismos:
  • A redundância de cópia de contexto domina os canais de Questionamento-Resposta-com-Raciocínio (QAR) e Extração de Relação (RE), respondendo por 81,0% e 80,0% de seus tokens, respectivamente.
  • A redundância de duplicação de geração domina os canais de Risk-QA, Recomendações e Riscos.
  • O canal Summary (Resumo) serve como um controle interno, mostrando quase nenhuma redundância (0% de contexto copiado, 0,0005% de duplicação), provando que a redundância é uma função do design do canal, e não uma propriedade inerente da extração por LLM.
• Estrutura de Custos:
  • Armazenamento: O contexto copiado representa ~7,5 GB dos ~10 GB de pegada de texto. Resserializar para narrativas de referência uma única vez por paciente poderia reduzir isso para ~2,5 GB sem perda de informação.
  • Computação: 64% do custo de geração de texto livre (298,3 milhões de tokens) foi gasto reemitindo strings que o modelo já havia produzido. Este custo é irrecuperável.
  • Processamento: O treinamento no corpus bruto impõe um multiplicador de processamento de 9,2× em comparação ao subconjunto único.
• Impacto Downstream: Com um orçamento de tokens igual, um codificador treinado no corpus desduplicado superou o codificador treinado no corpus bruto em ambos os benchmarks externos (ex: +0,029 F1 no NCBI-Disease). A melhoria foi consistente em todas as profundidades de adaptação e replicada no BC5CDR-Disease.
  • A ablação de "contexto removido" (removendo apenas o contexto copiado) recuperou a maior parte do benefício, indicando que o componente removível sem perdas impulsiona a maior parte do custo downstream.
  • Contrariando a hipótese de que a redundância prejudica desproporcionalmente o reconhecimento de doenças raras, nenhum benefício específico de desduplicação para doenças raras foi observado de forma confiável; os ganhos foram consistentes no geral e concentrados em doenças comuns.

Significância e Alegações
O artigo argumenta que o volume de corpora clínicos sintéticos é um pobre indicador de conteúdo de informação. As descobertas têm implicações diretas para a reprodutibilidade e equidade da IA clínica:

• Integridade de Relato: Descrever um corpus pelo número bruto de tokens (ex: "2,51 bilhões de tokens") representa erroneamente sua riqueza informacional. Os autores recomendam relatar o tamanho do conteúdo único junto ao tamanho bruto.
• Eficiência de Treinamento: A redundância não corrigida sobrepondera apresentações mais longas e complexas, distorcendo a distribuição de tokens no treinamento. Desduplicar antes do treinamento é um passo de baixo custo e alto impacto que melhora o desempenho do modelo sem exigir dados adicionais.
• Controle de Qualidade: Como a redundância é invisível no nível do registro (cada registro é bem formado), mas emerge apenas em nível agregado, a classificação de proveniência deve se tornar uma etapa rotineira de controle de qualidade para dados sintéticos.
• Implicações de Design: A variação de redundância entre canais (ex: Summary vs. QAR) demonstra que a redundância não é uma propriedade inevitável da extração por LLM, mas uma consequência do design do pipeline, especificamente se um canal emite muitos itens portadores de contexto por paciente.

Os autores concluem que os corpora clínicos sintéticos permanecem uma necessidade prática para dados nesta escala, mas seu conteúdo de informação deve ser medido e descrito honestamente para garantir o uso justo e eficaz na aprendizagem de máquina clínica.