propella-1: Multi-Property Document Annotation for LLM Data Curation at Scale

Título: PROPELLA-1: Anotação de Documentos Multi-Propriedade para Curadoria de Dados de LLM em Escala

1. O Problema

A curadoria de dados para o pré-treinamento de Grandes Modelos de Linguagem (LLMs) tem dependido predominantemente de pontuações de qualidade escalar única (um único número) geradas por classificadores pequenos, como no pipeline FineWeb-Edu. O artigo identifica duas limitações fundamentais nessa abordagem:

1. Conflação de Dimensões: Um único score agrupa múltiplas dimensões de qualidade (ex: valor educacional, viés comercial, profundidade de raciocínio). Isso impede a filtragem flexível. Um documento com alta profundidade de raciocínio, mas baixa estrutura pedagógica (ex: análise jurídica), pode receber uma pontuação baixa, enquanto um documento com bom valor educacional, mas viés comercial pesado, pode ser mantido.
2. Viés de Idioma e Tópico: A maioria das soluções atuais foca apenas em inglês ou, quando multilíngue, ainda usa scores únicos. Além disso, a filtragem por "valor educacional" tende a remover sistematicamente tópicos como entretenimento, negócios e viagens, criando um viés temático nos dados de treinamento.

2. Metodologia

Os autores introduzem o propella-1, uma família de modelos LLM multilíngues de pequeno porte projetados para anotação estruturada em vez de pontuação única.

• Arquitetura: Três modelos decoder-only baseados na arquitetura Qwen-3 com tamanhos de 0.6B, 1.7B e 4B parâmetros.
• Esquema de Anotação: Em vez de um único número, os modelos geram anotações JSON estruturadas com 18 propriedades organizadas em 6 categorias:
  1. Conteúdo Central: Integridade, proporção de conteúdo vs. UI, comprimento.
  2. Classificação: Descrição de uma frase, tipo de conteúdo, setor de negócios, conteúdo técnico.
  3. Qualidade e Valor: Qualidade do texto, densidade de informação, valor educacional, indicadores de raciocínio.
  4. Público e Propósito: Nível do público, viés comercial, sensibilidade temporal.
  5. Segurança e Conformidade: Segurança do conteúdo, presença de PII (Informação Pessoalmente Identificável).
  6. Relevância Geográfica: Relevância regional e por país.
• Treinamento: Os modelos foram fine-tuned usando dados anotados por LLMs de ponta (frontier LLMs) seguindo um manual de anotação rigoroso (rubric) de ~8.000 palavras. O treinamento abrangeu 57 idiomas.
• Infraestrutura de Escala: Utilização de SGLang com backend llguidance para garantir conformidade estrita com o esquema JSON e alta eficiência. O sistema foi escalado para milhares de GPUs (ex: 3.936 GPUs A100) para anotar centenas de milhões de documentos em horas.

3. Principais Contribuições

1. Framework de Anotação: Definição de 18 propriedades complementares que permitem estratégias de filtragem composicionais e flexíveis (ex: selecionar documentos com alto raciocínio, baixo viés comercial e sem PII).
2. Modelos propella-1: Modelos especializados de pequeno porte que alcançam alta concordância com modelos muito maiores, mas a uma fração do custo computacional.
3. Dataset propella-annotations: Liberação de um dataset com mais de 3 bilhões de anotações de documentos, cobrindo corpora principais como FineWeb-2, FinePDFs, HPLT 3.0, Nemotron-CC e dados sintéticos. É a maior liberação aberta de anotações multi-propriedade para dados de pré-treinamento.
4. Licença Aberta: Todos os pesos dos modelos (Apache 2.0) e as anotações (CC-BY-4.0) estão disponíveis para uso comercial e pesquisa.

4. Resultados

• Desempenho de Anotação: O modelo propella-1-4B alcançou uma pontuação geral de concordância de 0.779 contra um modelo de referência Gemini-3-Pro (usado como proxy de alta qualidade).
  • Isso supera modelos de código aberto significativamente maiores (como Qwen3-30B, Gemma-3-27B e Mistral-Small-24B).
  • O modelo de 0.6B também obteve um desempenho forte (0.729), demonstrando que modelos especializados pequenos podem rivalizar com modelos gerais gigantes em tarefas de anotação.
• Eficiência Computacional:
  • Em uma GPU H100 (fp8), o modelo de 4B processa 27 documentos por segundo.
  • O custo estimado é de aproximadamente 10.3 horas de GPU por milhão de documentos.
  • A precisão de inferência em fp8 é comparável à de bf16, com diferenças negligenciáveis na qualidade.
• Insights Analíticos (Estudos de Caso):
  • Perfil Multidimensional: Mostrou-se que fontes de dados diferentes (ex: FinePDFs vs. FineWeb-2) possuem perfis de qualidade drasticamente diferentes que um score único não capturaria. FinePDFs tinha muito mais conteúdo de "alta qualidade" e "raciocínio analítico" do que FineWeb-2.
  • Limitações de Tiers Únicos: A análise dos tiers de qualidade do Nemotron-CC revelou que documentos classificados como "alta qualidade" ainda continham problemas específicos (como viés comercial pesado ou baixa densidade de informação) que só foram detectados pela anotação multidimensional.
  • Variação Linguística: Mesmo com o mesmo pipeline de processamento, diferentes idiomas (alemão, espanhol, francês, etc.) apresentaram distribuições distintas de viés comercial e densidade de informação, sugerindo a necessidade de filtros específicos por idioma.

5. Significado e Impacto

O trabalho representa uma mudança de paradigma na curadoria de dados para LLMs:

• Do "Score Único" para a "Estrutura Multidimensional": Permite que pesquisadores e engenheiros de dados construam conjuntos de dados personalizados para tarefas específicas (ex: modelos de raciocínio, dados seguros, conteúdo técnico) sem perder dados valiosos que seriam descartados por um score geral baixo.
• Escalabilidade Multilíngue: Oferece uma solução viável e econômica para anotar dados em 57 idiomas, superando a barreira do inglês.
• Reprodutibilidade e Transparência: Ao liberar 3 bilhões de anotações públicas, o trabalho democratiza a pesquisa centrada em dados, permitindo que qualquer grupo de pesquisa analise a composição de seus corpora de treinamento e realize experimentos de ablation sobre quais dimensões de qualidade impactam mais o desempenho do modelo final.

Em resumo, o propella-1 fornece as ferramentas e os dados necessários para mover a curadoria de dados de uma abordagem heurística e monolítica para uma abordagem granular, interpretável e adaptável às necessidades específicas de cada aplicação de LLM.