Resumo Técnico: Controlando a Dificuldade da Linguagem em Diálogos com Características Linguísticas

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) tornaram-se ferramentas poderosas para a aquisição de uma segunda língua (L2), particularmente na simulação de diálogos interativos para prática de conversação. No entanto, um desafio significativo permanece: adaptar a dificuldade da linguagem das respostas geradas por LLMs para corresponder precisamente ao nível de proficiência do aprendiz. Os métodos existentes dependem frequentemente de instruções baseadas em prompts utilizando estruturas amplas como o Quadro Europeu Comum de Referência para Línguas (CEFR) (A1–C2). Embora eficazes até certo ponto, essas abordagens enfrentam limitações devido à ambiguidade inerente às definições do CEFR e à falta de controle granular. Além disso, métricas de complexidade padrão dependem de corpora rotulados por proficiência (por exemplo, ensaios ou passagens de leitura) que são inadequados para dados conversacionais. Consequentemente, há a necessidade de um framework que possa ajustar dinamicamente a complexidade da saída do LLM com base em características linguísticas específicas e quantificáveis para alinhar-se à proficiência alvo do aprendiz de L2, mantendo uma alta qualidade de diálogo.

Metodologia

Extração de Características Linguísticas

O framework proposto utiliza três categorias de características linguísticas para quantificar e regular a complexidade do texto:

1. Características de Legibilidade: Quatro pontuações estabelecidas são utilizadas: Flesch Reading Ease (FR), Flesch-Kincaid Grade Level (FG), Gunning Fog Index (GF) e Coleman-Liau Index (CL). Estas baseiam-se no comprimento da frase, contagem de sílabas e contagem de caracteres.
2. Características Sintáticas: Cinco métricas derivadas de árvores de análise de constituintes (constituency parsing) são empregadas: Profundidade da Árvore (TD), Contagem de Nós Folha (LN), Diversidade de Nós Não-Terminais (ND), Complexidade de Subárvore (SC) e Comprimento da Utterance (UL). Elas capturam a complexidade estrutural.
3. Características Lexicais: Duas razões baseadas em listas de palavras curadas por especialistas (níveis elementar e intermediário) são utilizadas: Razão de Palavras Simples (SW) e Razão de Palavras Intermediárias (IW).

Construção do Dataset

Os autores construíram um dataset especializado utilizando dados de conversas de usuários de um aplicativo de diálogo de livros didáticos (alunos do 3º ao 9º ano).

• Dados de Ajuste de Instrução (Instruction Tuning): Aproximadamente 100.000 instâncias foram geradas. Um LLM (Qwen-plus) produziu enunciados condicionados ao contexto conversacional e instruções especificando um dos seis níveis de proficiência do CEFR. Destas, 11 características linguísticas foram extraídas. Cada instância de treinamento pareou o contexto original com estas características extraídas, garantindo que cada contexto de diálogo estivesse associado a seis respostas distintas refletindo configurações linguísticas únicas.
• Dados de DPO: Para a Otimização de Preferência Direta (DPO), 30.000 pares de instrução-resposta foram amostrados. As amostras negativas incluíram respostas que eram contextualmente corretas, mas linguisticamente imprecisas, ou respostas que falharam na tarefa de diálogo.

Treinamento do Modelo

Experimentos foram conduzidos no Qwen2.5-7B-Instruct e LLaMA3.1-8B-Instruct.

1. Ajuste de Instrução: Os modelos foram ajustados finamente nos dados de diálogo anotados linguisticamente para aprender o mapeamento entre as restrições de características específicas e o texto gerado.
2. Otimização de Preferência Direta (DPO): Os modelos foram otimizados adicionalmente usando DPO para alinhar as saídas com as preferências humanas em relação à conclusão da tarefa e às restrições linguísticas.

Métricas de Avaliação

• Taxa de Sucesso da Resposta (RSR): Mede a qualidade do diálogo avaliando se uma resposta é natural e cumpre com sucesso a tarefa de diálogo especificada.
• Índice de Proficiência de Linguagem de Diálogo (Dilaprix): Uma métrica inovadora e interpretável projetada para quantificar a complexidade do diálogo sem depender de rótulos de proficiência pré-atribuídos. Ela integra as 11 características linguísticas em um escore unificado (0 a 1) usando uma função de normalização e agregação. O Dilaprix foi validado contra julgamentos de especialistas, atingindo um coeficiente de correlação de Pearson (PCC) de 0,950.

Principais Resultados

Controlabilidade e Estabilidade

• Controle Superior: Modelos treinados em dados anotados linguisticamente (Controlados por Características Linguísticas) demonstraram significativamente melhor controlabilidade do que os métodos baseados em prompts ou baselines ajustados por instrução de CEFR.
• Alcance e Estabilidade: O modelo QWEN-DPO alcançou um intervalo de Dilaprix de 0,073 a 0,883, comparado a um intervalo mais estreito (0,211–0,685) para os métodos baseados em CEFR. Além disso, os modelos controlados por características exibiram um desvio padrão menor nos escores de Dilaprix (por exemplo, 0,084 para QWEN-DPO vs. 0,155 para QWEN-CEFR), indicando maior estabilidade na geração de níveis de complexidade consistentes.
• Qualidade do Diálogo: Os modelos ajustados mantiveram alta qualidade de diálogo, com o QWEN-CEFR alcançando uma RSR média de 0,966 entre os níveis de CEFR, superando significativamente a baseline baseada em prompt (0,908). Os modelos controlados por características linguísticas mantiveram RSR comparável ou superior através do espectro contínuo de Dilaprix.

Estudos de Ablação

• Importância das Características: Remover características individuais geralmente degradou o desempenho. A Razão de Palavras Simples (SW) foi identificada como a característica mais crítica; sua remoção causou a queda de desempenho mais significativa.
• Comprimento da Utterance (UL): Surpreendentemente, remover a restrição de Comprimento da Utterance melhorou o desempenho geral (AUC e RSR). Os autores sugerem que restrições rigorosas de comprimento podem conflitar com tarefas de diálogo que exigem enunciados mais longos e complexos, dificultando assim a conclusão da tarefa.
• Controle Granular: O framework permite atribuir diferentes valores alvo ($t$) para diferentes grupos de características (por exemplo, léxico vs. sintático). Experimentos mostraram que isso permite o controle granular, como gerar texto com vocabulário simples, mas estruturas de frases complexas, mantendo alta qualidade.

Significância e Alegações

O artigo afirma abordar o desafio do controle preciso da proficiência linguística em sistemas de diálogo educacional ao ir além de rótulos amplos e ambíguos (como o CEFR) para características linguísticas específicas e quantificáveis.

• Métrica Inovadora: A introdução do Dilaprix fornece uma métrica confiável e interpretável para avaliar a dificuldade do diálogo que correlaciona fortemente com o julgamento de especialistas, superando as limitações das métricas existentes baseadas em corpora.
• Framework Eficaz: O estudo demonstra que treinar LLMs em dados anotados linguisticamente permite a modulação precisa da proficiência de linguagem. Esta abordagem oferece superior flexibilidade e estabilidade em comparação com métodos baseados em prompts.
• Utilidade Pedagógica: Ao permitir a geração de respostas que se alinham ao nível de proficiência atual do aprendiz, o framework proposto aumenta a adaptabilidade e o valor pedagógico das ferramentas de aprendizagem de línguas impulsionadas por IA, potencialmente prevenindo o desengajamento do aprendiz devido a uma linguagem excessivamente complexa.

Os autores mantêm uma postura modesta, reconhecendo que, embora a abordagem seja eficaz, ela requer dados de treinamento substanciais que podem nem sempre estar disponíveis. Eles também observam que o Dilaprix é específico para diálogos e pode exigir adaptação para outros tipos de texto, como ensaios.