Taming CATS: Controllable Automatic Text Simplification through Instruction Fine-Tuning with Control Tokens

Título: Taming CATS: Simplificação Automática de Texto Controlável através de Ajuste Fino com Instruções e Tokens de Controle

1. O Problema

A Simplificação Automática de Texto (ATS) visa reduzir a complexidade linguística preservando o significado, tornando a informação acessível a públicos diversos. Embora os Grandes Modelos de Linguagem (LLMs) tenham reacendido o interesse na Simplificação Controlável (CATS) — onde o sistema adapta a saída a níveis de complexidade especificados pelo usuário —, a área enfrenta desafios críticos:

• Tratamento como problema de decodificação: A controlabilidade é frequentemente tratada apenas como um problema de configuração de inferência (prompts), ignorando a qualidade dos dados de treinamento.
• Limitações dos Dados: Muitos conjuntos de dados existentes apresentam variação insuficiente nos atributos alvo (especialmente em taxas de compressão), impedindo que os modelos aprendam a controlar finamente a saída.
• Métricas de Avaliação Insuficientes: Métricas tradicionais (como BLEU, SARI) avaliam a qualidade geral da simplificação, mas são cegas à aderência ao alvo (ou seja, se o texto gerado realmente atingiu o nível de legibilidade ou compressão solicitado).
• Viés de Divisão de Dados: O uso de divisões nativas de conjuntos de dados ou partições aleatórias pode criar desajustes distribucionais entre os conjuntos de treinamento e teste, comprometendo a avaliação.

2. Metodologia

Os autores propõem um framework CATS baseado em Ajuste Fino com Instruções (Instruction Fine-Tuning - IFT) utilizando tokens de controle discretos em modelos LLM de código aberto (apenas decodificador).

Atributos de Controle

O sistema foi treinado para gerar textos com valores absolutos específicos para cinco atributos:

1. Legibilidade: FKGL (Flesch-Kincaid), ARI (Automated Readability Index) e Dale-Chall.
2. Compressão: Taxas de compressão baseadas em contagem de caracteres e de palavras.

Pipeline de Dados e Pré-processamento

• Corpora: Utilização de quatro domínios distintos: Medicina (Med-EASi), Administração Pública (SimPA), Notícias (Newsela) e Textos Enciclopédicos (WikiLarge).
• Harmonização: Conversão de todos os dados para um esquema JSONL unificado.
• Estratificação e Amostragem: Implementação de amostragem estratificada baseada no atributo de legibilidade (principalmente FKGL) para garantir que as divisões de treino/validação/teste (80/10/10) sejam estatisticamente representativas, minimizando a divergência distribucional (testado via Kolmogorov-Smirnov).
• Filtragem Monotônica: Criação de subconjuntos onde a complexidade do texto simplificado é estritamente menor que a do original, embora os autores observem que essa filtragem excessiva pode remover diversidade.

Prompting e Treinamento

• Tokens de Controle: O modelo recebe instruções com tokens no formato <METRIC=VALOR> (ex: <FKGL=4.0>) tanto na entrada (indicando o nível do texto original) quanto na saída (indicando o nível alvo).
• Modelos: Experimentos realizados em três famílias de modelos (Llama, Mistral, Qwen) com tamanhos variando de 1B a 14B parâmetros.
• Objetivo: O modelo é treinado para minimizar a perda de entropia cruzada, aprendendo a correlação entre o token de controle e as características linguísticas da simplificação.

3. Contribuições Principais

1. Framework CATS Baseado em Tokens: Demonstração de que o ajuste fino com tokens discretos é uma abordagem leve e flexível para transformar LLMs em sistemas de simplificação controláveis.
2. Análise Crítica de Dados: Evidência de que a variação nos dados de treinamento é o fator limitante mais importante para a controlabilidade, superando o tamanho do modelo.
3. Novas Diretrizes de Avaliação: Argumentação de que métricas de similaridade (SARI, LENS) são insuficientes para medir controlabilidade. Defende-se o uso de métricas baseadas em erro (como MAE - Erro Absoluto Médio entre o valor alvo e o valor gerado) para avaliar a aderência às instruções.
4. Impacto da Divisão de Dados: Demonstração de que divisões nativas de conjuntos de dados podem introduzir viés significativo, e que a estratificação cuidadosa é essencial para resultados reprodutíveis.

4. Resultados Chave

• Controlabilidade de Legibilidade vs. Compressão:
  • O controle de legibilidade (FKGL, ARI, Dale-Chall) foi aprendido consistentemente pelos modelos.
  • O controle de compressão (redução de tamanho) teve desempenho inferior. Isso ocorre porque muitos corpora de nível de frase (sentence-aligned) possuem pouca variação no comprimento entre o texto complexo e o simplificado, fornecendo um sinal de aprendizado fraco.
• Tamanho do Modelo:
  • Modelos menores (1B–3B) podem ser competitivos se os dados forem adequados.
  • O aumento do tamanho do modelo (escalabilidade) não garante melhorias monotônicas na controlabilidade. O desempenho varia dependendo do domínio, atributo e métrica.
• Desempenho por Domínio:
  • O conjunto de dados SimPA (Administração Pública) apresentou os melhores resultados em qualidade de simplificação (SARI).
  • O conjunto Newsela (documentos) mostrou a menor qualidade geral, possivelmente devido à complexidade das transformações de nível de documento.
• Ablação de Dados (Filtragem Monotônica):
  • Filtrar dados para garantir apenas reduções monotônicas de complexidade não melhorou consistentemente os resultados e, em alguns casos, degradou a diversidade de treinamento, sugerindo que manter uma cobertura ampla de valores de atributos é preferível.
• Métricas:
  • Observou-se uma forte correlação negativa entre métricas de qualidade (SARI) e erro de controle (MAE) em muitos casos, indicando que modelos que seguem melhor as instruções de controle tendem a produzir simplificações de melhor qualidade estrutural, mas métricas tradicionais não capturam essa nuance sozinhas.

5. Significado e Conclusão

O trabalho conclui que a construção de sistemas CATS eficazes depende menos da escolha arquitetural ou do tamanho do modelo e mais da curadoria de sinais controláveis nos dados e do design de avaliação.

• Dados: A riqueza do sinal de controle nos dados de treinamento é o fator determinante. Sem variação suficiente nos atributos alvo (especialmente compressão), os modelos falham em aprender a controlar a saída.
• Avaliação: É imperativo integrar métricas baseadas em erro (focadas no desvio do alvo) junto com métricas de qualidade e similaridade.
• Reprodutibilidade: A forma como os dados são amostrados e divididos (estratificação) é crítica para evitar desajustes distribucionais que invalidam comparações entre modelos.

Em suma, o artigo oferece um roteiro robusto para o desenvolvimento de sistemas de simplificação de texto controlável, enfatizando que a qualidade dos dados e a metodologia de avaliação são tão cruciais quanto a capacidade do modelo em si.