IDIOLEX: Unified and Continuous Representations for Idiolectal and Stylistic Variation

Resumo Técnico: IDIOLEX

1. O Problema

As representações de sentenças atuais em Processamento de Linguagem Natural (PLN) são predominantemente otimizadas para capturar o conteúdo semântico (o que a frase diz), negligenciando o estilo e a variação dialetal (como a frase é expressa). Embora a correção semântica seja essencial para Grandes Modelos de Linguagem (LLMs), a falta de sensibilidade a variações idioletais (dialetos, registros, estilos individuais) limita a capacidade dos modelos de interagir de forma natural e inclusiva com populações de falantes diversas.

Trabalhos anteriores abordaram a identificação de dialetos e a atribuição de autoria como tarefas de classificação discretas e isoladas. Não existia um framework unificado capaz de aprender representações contínuas que desacoplem o estilo do significado, permitindo uma análise mais matizada e aplicações como alinhamento estilístico em LLMs.

2. Metodologia: O Framework IDIOLEX

O IDIOLEX é um framework de aprendizado de representações de sentenças focado em capturar variação idioletal e estilística de forma contínua, utilizando supervisão fraca e recursos linguísticos.

• Objetivo Central: Aprender um espaço de representação onde a proximidade entre sentenças reflita a similaridade estilística/dialetal, independentemente do tópico semântico.
• Hierarquia de Proximidade (Supervisão Fraca): O modelo utiliza uma hierarquia de "proximidade" baseada na estrutura dos dados (comentários do Reddit) para fornecer sinais de treinamento sem rótulos explícitos:
  1. Mesmo Comentário (Score 3): Sentenças do mesmo comentário (mesmo autor, mesmo contexto).
  2. Mesmo Autor (Score 2): Sentenças do mesmo autor em comentários diferentes.
  3. Mesma Comunidade Dialetal (Score 1): Sentenças de autores diferentes, mas do mesmo subreddit/região.
  4. Comunidades Diferentes (Score 0): Sentenças de regiões/dialetos distintos.
• Recursos Linguísticos (LLM-Extruídos): Para mitigar o ruído da supervisão fraca, o framework incorpora características linguísticas extraídas automaticamente por um LLM (GPT-5 mini). Essas características incluem morfologia, sintaxe e marcadores lexicais específicos de dialetos (baseados em manuais linguísticos para Árabe e Espanhol).
• Arquitetura e Treinamento:
  • Baseia-se em um codificador de sentenças pré-treinado (AraBERT v2 para Árabe, BERTIN para Espanhol).
  • Fase 1 (Pré-treinamento): Otimização usando Loss de Classificação de Margem (Margin Ranking Loss) para alinhar a similaridade no espaço de embeddings com a hierarquia de proximidade.
  • Fase 2 (Ajuste Fino): Adição de Loss de Predição de Recursos (para prever as características linguísticas extraídas) e Loss Contrastiva Supervisionada (ponderada pela similaridade de Jaccard dos recursos).
  • Regularização: Uso de técnicas de centralização e restrição de variância (estilo VICReg) para evitar o colapso de representações e garantir um espaço de embedding isotrópico e bem condicionado.

3. Principais Contribuições

1. Representações Contínuas de Idioleto: Propõe uma mudança de paradigma de rótulos discretos (ex: "Dialetos A ou B") para um espaço contínuo que captura gradientes de variação estilística e dialetal.
2. Desacoplamento Semântico-Estilístico: Demonstra empiricamente que é possível aprender representações que priorizam a forma linguística sobre o conteúdo tópico, mantendo baixa correlação com a similaridade semântica tradicional.
3. Framework Agnóstico à Linguagem: O método é aplicável a diferentes línguas, utilizando apenas a estrutura de proximidade dos dados e recursos linguísticos específicos da língua.
4. Aplicação em Alinhamento de LLMs: Introduz o uso dessas representações como um objetivo de treinamento (Loss de Alinhamento) para ajustar a saída de LLMs, permitindo que eles gerem texto em dialetos específicos sem sacrificar a fluência.

4. Resultados Experimentais

Os autores avaliaram o IDIOLEX em Árabe e Espanhol, focando em três contextos:

• Tarefas de Classificação (DID e AA):
  • Identificação de Dialetos (DID): O IDIOLEX superou abordagens neurais anteriores e baselines (como BERT fine-tuned) em tarefas de identificação de dialetos no conjunto de dados DSL-ML (Espanhol) e MADAR 26 (Árabe), alcançando desempenho próximo ao estado da arte sem engenharia de recursos específica para a tarefa.
  • Atribuição de Autoria (AA): No benchmark PAN 19, o modelo alcançou uma melhoria absoluta de 10% sobre o modelo comparativo mais forte, demonstrando capacidade de generalização de domínio (cross-domain).
• Desemaranhamento (Disentanglement):
  • A correlação entre a similaridade idioletal (IDIOLEX) e a similaridade semântica (Multilingual-E5) foi muito baixa (Pearson $r \approx 0.09$ para Espanhol e $0.19$ para Árabe).
  • Em dados paralelos (MADAR 26) com conteúdo semântico idêntico, o modelo conseguiu distinguir claramente a proximidade dialetal baseada apenas na forma linguística.
• Alinhamento de LLMs (Post-Training):
  • Ao aplicar o IDIOLEX como objetivo de Supervised Fine-Tuning (SFT) em modelos como Llama 3.1 e Allam, os autores observaram uma melhoria significativa na aderência dialetal (medida por ADI2) sem degradação na qualidade da tradução (ChrF++).
  • O modelo conseguiu adaptar-se a dialetos com poucos dados de treinamento (ex: Árabe Palestino), sugerindo que a representação contínua captura melhor a variação do que rótulos discretos.

5. Significado e Impacto

O trabalho IDIOLEX oferece uma perspectiva fundamental para o estudo da variação linguística em PLN:

• Inclusividade e Acessibilidade: Permite o desenvolvimento de LLMs que respeitam e se adaptam a variações dialetais e de registro, reduzindo o viés em direção a variedades padrão ou formais.
• Flexibilidade: Ao tratar o idioleto como um fenômeno contínuo e composicional, o framework facilita a análise de nuances linguísticas que seriam perdidas em classificações binárias.
• Aplicabilidade Prática: O uso de representações idioletais como objetivo de treinamento abre caminho para sistemas de IA mais personalizados e culturalmente sensíveis, capazes de interagir com usuários de diversas origens linguísticas de forma autêntica.

Em resumo, o IDIOLEX preenche uma lacuna crítica na representação de linguagem, fornecendo ferramentas para modelar não apenas o significado, mas também a identidade e o estilo do falante, essenciais para a próxima geração de modelos de linguagem robustos e inclusivos.