Pantagruel: Unified Self-Supervised Encoders for French Text and Speech

Visão Geral

O artigo apresenta a família de modelos Pantagruel, uma nova série de codificadores auto-supervisionados projetados especificamente para processamento de texto e fala em francês. Diferente das abordagens tradicionais que preveem tokens ou unidades discretas, o Pantagruel foca na aprendizagem de representações contextualizadas no espaço de características (feature space), permitindo uma arquitetura unificada que lida eficazmente com ambas as modalidades.

1. O Problema

• Limitações das Abordagens Atuais: A maioria dos modelos de estado da arte para francês (como CamemBERT, FlauBERT e LeBenchmark) baseia-se na reconstrução de tokens ou unidades discretas (ex: masked language modeling - MLM). Embora eficazes, essas abordagens podem subutilizar as regularidades estruturais de sinais contínuos (fala) e dificultam o tratamento unificado de texto e fala.
• Falta de Dados de Fala em Grande Escala: Embora existam corpora de texto robustos, os modelos de fala em francês carecem de dados de pré-treinamento massivos e diversificados comparáveis aos disponíveis para inglês (como o conjunto de dados do Whisper ou USM do Google).
• Desafio na Predição de Representações para Texto: Abordagens baseadas em predição de embeddings (como JEPA/data2vec) têm sido bem-sucedidas em visão e áudio, mas sua aplicação em texto é menos explorada, pois tokens textuais são unidades discretas e semanticamente densas, onde a predição de embeddings globais pode não capturar detalhes sintáticos finos.

2. Metodologia

O Pantagruel utiliza a arquitetura data2vec 2.0, uma instância do framework JEPA (Joint Embedding Predictive Architecture).

• Arquitetura Unificada (Teacher-Student):

  • O modelo emprega um paradigma teacher-student. Um "professor" observa a entrada completa (não mascarada) e gera representações latentes. Um "aluno" recebe uma versão mascarada da entrada e tenta prever as representações do professor nas regiões mascaradas.
  • Os parâmetros do professor são atualizados como uma média móvel exponencial (EMA) dos parâmetros do aluno.
  • A perda é calculada como a distância L2 entre as previsões do aluno e as representações do professor no espaço de características.

• Adaptação para Texto (Abordagem Híbrida):

  • Reconhecendo que a predição puramente baseada em embeddings pode ser insuficiente para a sintaxe fina do texto, os autores propõem uma função de perda híbrida para os modelos de texto: $L_{text} = L_{L2} + \lambda L_{mlm}$.
  • Isso combina a predição de características (data2vec) com o Masked Language Modeling (MLM) tradicional, permitindo capturar tanto a semântica contextual rica quanto a informação sintática local.

• Corpora de Pré-treinamento:

  • Texto: Utiliza Wikipedia, OSCAR e o dataset CroissantLLM (totalizando centenas de bilhões de tokens).
  • Fala: Utiliza o LeBenchmark (14.000 horas) e introduz o INA-100k, um novo corpus de 100.000 horas de áudio derivado dos arquivos do Institut National de l'Audiovisuel (INA). Este corpus inclui dados de rádio e TV desde 1975, cobrindo uma diversidade extrema (notícias, documentários, esportes, espontâneo, etc.).

3. Contribuições Principais

1. Família de Modelos Pantagruel: Lançamento de codificadores auto-supervisionados unificados para texto e fala em francês, treinados separadamente mas com a mesma arquitetura base.
2. Investigação de Objetivos de Predição para Texto: Demonstração de que combinar a predição de espaço de características com MLM resulta em codificadores de texto competitivos, explorando um regime pouco estudado para a língua francesa.
3. Corpus INA-100k: Introdução e disponibilização de um corpus massivo de 100k horas de áudio francês, superando significativamente os conjuntos de dados anteriores disponíveis para a comunidade.
4. Avaliação Unificada: Uma avaliação abrangente em diversas tarefas downstream para ambas as modalidades, estabelecendo novos baselines para o processamento de linguagem natural (PLN) e processamento de fala (ASR) em francês.

4. Resultados

Os modelos foram avaliados em uma ampla gama de tarefas, incluindo benchmarks padrão como FLUE (texto) e LeBenchmark (fala).

• Desempenho em Texto:

  • Os modelos Pantagruel (especialmente os treinados com OSCAR e CroissantLLM) alcançaram desempenho competitivo ou superior ao CamemBERT e FlauBERT em tarefas semânticas (Classificação, QA, Coerência).
  • Em tarefas sensíveis à sintaxe (como Desambiguação de Sentido de Verbos e Análise de Dependência), os modelos apresentaram resultados ligeiramente inferiores aos baselines puramente baseados em tokens, sugerindo que a supervisão em nível de token ainda é valiosa para estrutura fina.
  • A abordagem híbrida (MLM + Feature Prediction) provou ser eficaz para equilibrar esses aspectos.

• Desempenho em Fala:

  • Os modelos Pantagruel superaram consistentemente os baselines do LeBenchmark (baseados em wav2vec 2.0) em quase todas as tarefas.
  • O modelo grande treinado com o corpus INA-100k (Pantagruel-L-114k) obteve os melhores resultados gerais, demonstrando ganhos significativos em corpora desafiadores, ruidosos e espontâneos (como ETAPE e DyLNet - fala infantil).
  • A diversidade do INA-100k melhorou a robustez do modelo a variações acústicas, embora tenha havido uma leve redução de desempenho em dados de fala lida muito limpa (CommonVoice) em comparação com modelos menores treinados apenas em dados limpos.

• Tradução de Fala para Texto (ST):

  • O modelo Pantagruel demonstrou superioridade na tradução de fala, superando modelos treinados com os mesmos dados de pré-treinamento, destacando a eficácia do objetivo baseado em latentes para entrada de fala.

5. Significado e Impacto

• Validação da Aprendizagem no Espaço de Características: O trabalho confirma que objetivos auto-supervisionados baseados em predição de representações latentes (JEPA) escalam eficientemente para o francês e são particularmente eficazes para sinais contínuos como a fala.
• Fundação Multimodal: Ao oferecer uma arquitetura unificada que pode ser adaptada para texto ou fala, o Pantagruel estabelece uma base sólida para futuras pesquisas em compreensão multimodal (ex: perguntas e respostas orais, legendagem automática).
• Recursos Abertos: A liberação dos modelos e do corpus INA-100k (ou pelo menos a metodologia para sua construção) empodera a comunidade de pesquisa francesa, permitindo o desenvolvimento de IA responsável e reprodutível, reduzindo a dependência de modelos proprietários ou de outras línguas.
• Futuro: O trabalho abre caminho para o treinamento multimodal conjunto (texto e fala alinhados ou não alinhados) e a exploração de arquiteturas ainda maiores.

Em resumo, o Pantagruel representa um avanço significativo no estado da arte para o processamento de linguagem francesa, combinando inovações arquiteturais (JEPA/data2vec híbrido) com a criação de recursos de dados sem precedentes (INA-100k).