Resumo Técnico: Rastreando o Caminho dos Dados: Um Levantamento sobre Proveniência, Transparência e Rastreabilidade de Dados em LLMs

1. Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) estão sendo implementados em escala crescente, mas o ciclo de vida de seus dados de treinamento permanece amplamente opaco. Os principais criadores frequentemente mantêm as origens dos dados e os processos de treinamento em segredo devido a preocupações econômicas e proprietárias, resultando em modelos "caixa-preta". Essa opacidade cria desafios significativos:

• Incapacidade de Rastrear: Os LLMs não conseguem, atualmente, rastrear as saídas geradas de volta às fontes de dados originais.
• Qualidade e Viés dos Dados: A escala massiva dos dados de treinamento (por exemplo, o FineWeb com 15 trilhões de tokens) excede as capacidades de verificação humana. O uso de dados sintéticos gerados por LLMs para treinar novos modelos introduz riscos de propagação de viés e alucinações.
• Privacidade e Conformidade Legal: O "Direito ao esquecimento" e regulamentações como o GDPR e a Lei de IA da UE são difíceis de aplicar quando os dados estão incorporados nos parâmetros do modelo sem uma linhagem clara.
• Lacuna de Transparência: Existe um descompasso fundamental entre os pesos do modelo (parâmetros) e os dados brutos de treinamento, dificultando a interpretabilidade, a explicabilidade e a responsabilidade.

O artigo argumenta que, sem abordar a proveniência, a transparência e a rastreabilidade dos dados, o campo não poderá mitigar efetivamente questões como alucinações, vieses e violações de privacidade.

2. Metodologia

Os autores realizaram uma revisão sistemática da literatura para sintetizar pesquisas dos últimos dez anos (janeiro de 2016 – março de 2025).

• Estratégia de Busca: Uma consulta foi construída utilizando a base de dados Scopus com três filtros: (1) Dados (proveniência, linhagem, governança), (2) Modelos de Linguagem (LLM, grande modelo de linguagem) e (3) Atributos (transparência, rastreabilidade, auditabilidade, reprodutibilidade).
• Processo de Seleção: A busca inicial rendeu 129 resultados. Após revisão manual, filtragem de duplicatas e aplicação de critérios de relevância (envolvimento do uso de dados com LLMs, geração de dados por/para LLMs ou proveniência de dados em ML/IA), 34 artigos foram excluídos.
• Corpus Final: A análise final baseia-se em 95 publicações.
• Construção da Taxonomia: Os autores desenvolveram uma taxonomia organizando o campo em três eixos principais e três pilares de suporte, visualizados na Figura 2 do artigo.

3. Contribuições Principais e Taxonomia

A contribuição central do artigo é uma taxonomia proposta que define os domínios da proveniência de dados de LLM e lista os artefatos correspondentes. A estrutura baseia-se em:

Três Eixos Principais

1. Proveniência de Dados: Rastrear a origem das fontes de dados (licenciamento, atribuição, extração, geração e anotação).
2. Rastreabilidade e Responsabilidade: Vincular os dados de origem subjacentes às saídas geradas (registro de logs, marcas d'água, atribuição de predição do modelo).
3. Transparência: O grau de abertura em relação à arquitetura do modelo, parâmetros e procedimentos de treinamento (distinguindo entre modelos de pesos abertos e pesos fechados).

Três Pilares de Suporte

1. Viés e Incerteza: Analisar como o viés nos dados de treinamento se propaga para os modelos e quantificar a incerteza do modelo/alucinações.
2. Privacidade de Dados: Abordar a proteção de dados pessoais e proprietários no contexto do treinamento de LLMs e o "Direito ao esquecimento".
3. Ferramentas e Técnicas: Operacionalizar os conceitos acima através de softwares, bibliotecas e abordagens metodológicas específicas.

4. Principais Descobertas e Resultados

Proveniência de Dados e Atribuição

• Licenciamento: Muitos conjuntos de dados públicos carecem de licenciamento claro, criando uma "zona cinzenta" para uso comercial. Ferramentas como o DPExplorer estão surgindo para auditar as origens dos conjuntos de dados.
• Atribuição: Existem duas abordagens: Preservação de proveniência (ex: sistemas RAG onde o contexto é explicitamente encaminhado) e Inferência de proveniência (busca post-hoc por fontes, que pode simular em vez de rastrear as origens).
• Dados Sintéticos: O uso de LLMs para anotação e geração de dados (ex: framework START, FuxiTranyu) cria pipelines rastreáveis, mas corre o risco de propagar viés e alucinações se não forem supervisionados.

Rastreabilidade e Responsabilidade

• Logging (Registro): As práticas de registro de ML diferem da engenharia de software geral, muitas vezes carecendo de pervasividade nas fases de implantação. Registrar estados do modelo e transformações de dados é crucial para a auditabilidade.
• Marca d'água (Watermarking): Técnicas como TimeMarker permitem a rastreabilidade temporal e proteção de direitos autorais ao incorporar marcas d'água distintas nas saídas do modelo para detectar extração ou uso indevido.
• Atribuição de Predição do Modelo: Frameworks como o WrapperBox envolvem representações de LLM em modelos clássicos (kNN, DT) para rastrear predições de volta a amostras específicas de treinamento.

Transparência e Opacidade

• Pesos Abertos vs. Pesos Fechados: O artigo distingue entre modelos de pesos abertos e transparentes (que permitem inspeção de pesos e arquitetura) e modelos de pesos fechados e opacos (caixas-pretas).
• Interpretabilidade vs. Explicabilidade: Os autores esclarecem uma distinção crescente:
  • Interpretabilidade: Uma propriedade passiva onde a estrutura interna pode ser diretamente compreendida (ex: camadas de decisão esparsas).
  • Explicabilidade: Um processo ativo que produz razões compreensíveis para humanos sobre as decisões (ex: atribuição de características post-hoc).
• Domínios: A pesquisa em modelos de pesos abertos abrange ciência da computação, biomedicina e direito, enquanto a pesquisa em modelos de pesos fechados foca frequentemente em aplicações educacionais e implicações filosóficas de confiança.

Viés, Incerteza e Privacidade

• Viés: O viés inerente aos dados escritos por humanos propaga-se para os LLMs. O uso de dados gerados por LLM para treinamento cria loops de feedback que podem amplificar o viês.
• Incerteza: Distinguida como Aleatória (ambiguidade dos dados) e Epistêmica (falta de habilidade do modelo). Estados internos de LLMs podem, por vezes, ser explorados para detectar alucinações.
• Privacidade: O "Direito ao esquecimento" é difícil de aplicar em LLMs. Embora a edição de modelos (desaprendizado/unlearning) seja pesquisada, não existe uma solução geral para apagar dados específicos dos parâmetros treinados.

Ferramentas e Técnicas

O levantamento identifica ferramentas específicas (ex: t5x, seqio, Data Provenance Explorer) e técnicas (ex: destilação Trace-of-Thought, rastreamento de circuitos/Circuit tracing, TuneTables) que operacionalizam o rastreamento de proveniência.

5. Significância e Alegações

O artigo afirma que a proveniência, transparência e rastreabilidade dos dados estão intrinsecamente ligadas; é impossível rastrear fluxos de dados através de sistemas não transparentes, e impossível corresponder as origens dos dados aos resultados sem rastreabilidade.

Principais Alegações de Significância:

• Análise Retrospectiva: O levantamento fornece uma revisão abrangente da última década de pesquisa de LLM em relação ao uso de dados.
• Definição de Domínio de Pesquisa: Estabelece um novo domínio de pesquisa ao explorar ambientes de LLM especificamente para capacidades de proveniência de dados.
• Identificação de Lacunas: Identifica lacunas críticas, incluindo a falta de soluções gerais para o "Direito ao esquecimento", os riscos de propagação de viés através da geração de dados sintéticos e a escassez de dados rotulados.
• Roteiro Futuro: O artigo delineia direções futuras, como investigar a propagação de classes de dados para os parâmetros do modelo, abordar a contaminação de dados (dados de teste presentes nos conjuntos de treinamento) e desenvolver métodos para detectar e deletar informações privadas de modelos.

Os autores concluem que rastrear as origens das fontes de dados que fluem para os LLMs é essencial para atribuir decisões do modelo, aumentar a transparência e garantir a reprodutibilidade na pesquisa de IA. Eles enfatizam que, sem processos ativos para manter a proveniência, a informação é perdida durante a parametrização, tornando as saídas geradas não atribuíveis às suas fontes originais.