FreeTxt-Vi: A Benchmarked Vietnamese-English Toolkit for Segmentation, Sentiment, and Summarisation

O artigo apresenta o FreeTxt-Vi, uma ferramenta web de código aberto que oferece um pipeline unificado de processamento de linguagem natural para análise de textos bilíngues vietnamita-inglês, integrando segmentação, análise de sentimentos e sumarização com desempenho competitivo e sem exigir conhecimentos de programação.

O essencial

Imagine que você tem uma caixa gigante cheia de cartas, diários e comentários escritos por pessoas de todo o mundo. Algumas cartas estão em inglês, outras em vietnamita, e muitas são uma mistura dos dois. O problema? A maioria das ferramentas de computador só sabe ler inglês perfeitamente. Se você tentar usar essas ferramentas para ler as cartas em vietnamita, elas ficam confusas, como se alguém estivesse tentando ler um livro onde as palavras estão todas grudadas sem espaços.

É aqui que entra o FreeTxt-Vi, uma nova "ferramenta mágica" criada por pesquisadores para resolver exatamente esse problema.

Aqui está uma explicação simples do que eles fizeram, usando algumas analogias do dia a dia:

1. O Tradutor e Organizador Universal (A Caixa de Ferramentas)

Pense no FreeTxt-Vi como um assistente pessoal superinteligente que fala fluentemente inglês e vietnamita. Antes, se você quisesse analisar milhares de respostas de uma pesquisa, precisava ser um programador expert para fazer o computador entender o texto.

O FreeTxt-Vi mudou isso. É como se eles tivessem construído um painel de controle de avião simplificado. Você só precisa "jogar" seus textos (sejam eles em planilhas, arquivos de texto ou digitados na hora) e o sistema faz o resto. Não importa se o texto é em inglês ou vietnamita; o sistema sabe lidar com os dois ao mesmo tempo, sem você precisar escrever uma única linha de código.

2. O Grande Desafio: Desembaraçar o "Novelo" (Segmentação)

O vietnamita é uma língua fascinante, mas difícil para computadores. Em inglês, as palavras têm espaços entre elas (ex: "gato preto"). No vietnamita, as sílabas são separadas por espaços, mas a "palavra" completa pode ser uma combinação delas (ex: "học sinh" significa "aluno", mas o computador vê "học" e "sinh" como duas coisas separadas).

É como tentar montar um quebra-cabeça onde as peças vêm misturadas com pedaços de outras imagens.

• A Solução: O FreeTxt-Vi usa uma técnica híbrida (uma mistura de dois métodos) que age como um detetive especialista. Ele olha para o texto e diz: "Ah, 'học' e 'sinh' juntos formam a palavra 'aluno'". Isso permite que o computador entenda o significado real, não apenas as sílabas soltas.

3. O Detetive de Emoções (Análise de Sentimento)

Imagine que você tem 10.000 comentários de clientes sobre um novo produto. Ler um por um para ver se estão felizes ou bravos levaria semanas.
O FreeTxt-Vi tem um olho mágico que lê tudo em segundos. Ele não apenas diz "isso é positivo" ou "isso é negativo". Ele pode até dizer: "Isso é muito positivo" ou "Isso é levemente negativo".

• O Truque: Eles treinaram esse "olho mágico" com milhões de exemplos em inglês e vietnamita. O resultado? Ele é tão bom que, às vezes, até supera os especialistas que só conhecem uma língua, porque aprendeu a entender o "tom" de voz em ambas as culturas ao mesmo tempo.

4. O Resumidor Mágico (Sumarização)

Muitas vezes, as pessoas escrevem textos longos e confusos. O FreeTxt-Vi tem dois modos de resumo:

• Modo "Corte e Cola" (Extrativo): Ele pega as frases mais importantes do texto original e as coloca juntas. É como fazer um "highlight" no livro.
• Modo "Reescritor Criativo" (Abstrativo): Aqui é onde a mágica acontece. Ele usa uma Inteligência Artificial avançada (como um escritor fantasma) para ler tudo e escrever um novo resumo, com palavras novas, mas mantendo o sentido.
• O Diferencial: Você pode pedir ao sistema: "Resuma apenas o que as pessoas disseram sobre o preço" ou "Resuma apenas o que dizem sobre a qualidade". É como ter um assistente que foca apenas no tópico que você quer, ignorando o resto.

5. O Mapa Visual (Nuvens de Palavras e Árvores)

Para quem gosta de ver coisas bonitas, o sistema cria nuvens de palavras.

• Se uma palavra aparece muito, ela fica gigante na nuvem.
• O sistema também sabe quais palavras são "especiais" para aquele texto (como se fosse um detector de ouro), mostrando o que torna aquele grupo de textos único.
• Além disso, ele cria árvores de palavras: você escolhe uma palavra (como "educação") e o sistema mostra todas as ramificações de como essa palavra é usada ao redor, como se você estivesse explorando um labirinto de ideias.

Por que isso é importante?

Até hoje, ferramentas assim eram como carros de luxo que só funcionavam em estradas de inglês. O FreeTxt-Vi é como um jipe todo-terreno que foi construído especificamente para as estradas do vietnamita, mas que também roda perfeitamente em inglês.

Isso é crucial porque o vietnamita é falado por mais de 80 milhões de pessoas, mas tinha poucas ferramentas para analisar seus dados. Agora, professores, pesquisadores, médicos e governos podem usar essa ferramenta para entender melhor o que as pessoas estão pensando, sentindo e precisando, sem precisar ser gênios da programação.

Em resumo: O FreeTxt-Vi é a ponte que conecta a tecnologia de ponta (Inteligência Artificial) com a realidade humana de milhões de pessoas, tornando os dados de texto acessíveis, compreensíveis e úteis para todos. E o melhor de tudo? É gratuito e aberto para qualquer pessoa usar!

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "FreeTxt-Vi: A Benchmarked Vietnamese–English Toolkit for Segmentation, Sentiment, and Summarisation", apresentado em português:

1. Problema e Motivação

O artigo aborda a lacuna existente na análise de dados de texto livre (qualitativos) em contextos bilíngues, especificamente para o Vietnamita e o Inglês. Embora o Vietnamita seja falado por mais de 80 milhões de pessoas, ele permanece sub-representado na pesquisa de Processamento de Linguagem Natural (NLP) em comparação com línguas de alto recurso como o inglês.

• Desafios Específicos: A principal dificuldade linguística no Vietnamita é a segmentação de palavras (word segmentation), pois a ortografia usa espaços para separar sílabas, e não palavras completas, o que gera tokens fragmentados e prejudica análises subsequentes.
• Limitações Atuais: Ferramentas existentes (como Voyant Tools ou FreeTxt original) não suportam o Vietnamita ou não lidam com os desafios específicos de segmentação e análise bilíngue. Além disso, as ferramentas NLP avançadas para Vietnamita (como VnCoreNLP, PhoBERT) exigem proficiência em programação, criando uma barreira para pesquisadores de ciências sociais, educação e humanidades digitais que não são especialistas em computação.

2. Metodologia e Arquitetura do Sistema

O FreeTxt-Vi é um kit de ferramentas baseado na web, de código aberto, que integra métodos de linguística de corpus com componentes modernos de NLP (baseados em transformadores). O sistema opera através de um pipeline unificado:

• Pré-processamento e Segmentação Híbrida:

  • O sistema utiliza uma estratégia híbrida combinando VnCoreNLP (para segmentação linguística e reconhecimento de entidades no Vietnamita) com Byte Pair Encoding (BPE) (para tokenização de subpalavras).
  • Isso garante que expressões multi-palavra no Vietnamita sejam tratadas corretamente, mantendo a compatibilidade com arquiteturas de transformadores.
  • Para o inglês, utiliza bibliotecas padrão (NLTK e spaCy).
  • Um módulo de detecção de linguagem identifica automaticamente o idioma dominante para rotear os dados.

• Análise de Sentimento:

  • Utiliza um modelo transformador multilingue da TabularisAI, que foi fine-tuned (ajustado) simultaneamente nos conjuntos de dados VLSP 2016 (Vietnamita) e IMDb (Inglês).
  • Oferece classificações de sentimento granulares (de 3 a 5 níveis) e é sensível a expressões idiomáticas devido ao pré-processamento de segmentação.

• Resumo (Summarisation):

  • Oferece duas abordagens:
    1. Extrativa: Baseada no algoritmo TextRank.
    2. Abstrativa: Baseada no modelo Qwen2.5 (fine-tuned).
  • Inovação: Suporta resumo guiado por aspectos (aspect-guided), onde o usuário pode direcionar o modelo para focar em temas específicos (ex: "sustentabilidade ambiental" ou "desafios dos professores"), permitindo uma análise temática focada.

• Visualização e Análise de Corpus:

  • Inclui ferramentas clássicas de corpus: Concordância (KWIC), Nuvem de Palavras (com métricas de frequência, log-verossimilhança e "keyness"), e Árvore de Palavras (Word Tree) interativa.
  • Para o Vietnamita, as visualizações são adaptadas para respeitar a segmentação correta, evitando a fragmentação de sílabas.

3. Principais Contribuições

1. Ferramenta Unificada Bilíngue: É a primeira plataforma de código aberto que oferece processamento de texto livre avaliado para Vietnamita e Inglês em um único ambiente, eliminando a necessidade de alternar entre ferramentas ou idiomas.
2. Pipeline de NLP Híbrido e Avaliado: Desenvolveu e validou um pipeline que integra VnCoreNLP + BPE, um classificador de sentimento fine-tuned e um modelo de resumo abstrativo, demonstrando que a abordagem híbrida supera métodos puramente baseados em subpalavras para o Vietnamita.
3. Avaliação Empírica Rigorosa: O trabalho não apenas apresenta a ferramenta, mas fornece uma avaliação de três partes (segmentação, sentimento e resumo) comparando o sistema com baselines amplamente utilizados, provando sua eficácia.
4. Acessibilidade: Reduz a barreira técnica, permitindo que pesquisadores de domínio (não especialistas em NLP) realizem análises complexas de texto qualitativo em escala.

4. Resultados da Avaliação

Os experimentos foram conduzidos em conjuntos de dados padrão (VLSP, IMDb, VNDS, CNN/DailyMail) e mostraram desempenho competitivo ou superior:

• Segmentação/Tokenização: O método híbrido (VnCoreNLP + BPE) alcançou 98,1% de F1 no Vietnamita (VLSP2013) e 99,94% de precisão no Inglês, com alta eficiência de processamento (4.900 sentenças/seg no Vietnamita). Superou ou empatou com ferramentas especializadas como NlpHUST e VnCoreNLP puro, com a vantagem adicional de ser um pipeline bilíngue unificado.
• Análise de Sentimento: O modelo fine-tuned da TabularisAI alcançou 95,2% de precisão no Vietnamita e 95,0% no Inglês, superando modelos monolíngues de ponta como o PhoBERT (que obteve 93,4%) e o modelo base multilingue. Isso demonstra que o ajuste fino bilíngue melhora a generalização sem sacrificar o desempenho específico do idioma.
• Resumo (Summarisation): O modelo Qwen2.5 fine-tuned obteve os melhores resultados em ambas as línguas, superando baselines como Flan-T5 e Gemma-7B.
  • Vietnamita (VNDS): ROUGE-1 de 53,1.
  • Inglês (CNN/DailyMail): ROUGE-1 de 52,4.
  • O modelo demonstrou capacidade de transferência eficaz entre línguas tipologicamente diferentes.

5. Significado e Impacto

O FreeTxt-Vi representa um avanço significativo para a comunidade de NLP de línguas de baixo recurso e para a pesquisa interdisciplinar.

• Para o Vietnamita: Democratiza o acesso a tecnologias de NLP avançadas, permitindo que educadores, cientistas sociais e pesquisadores de patrimônio cultural analisem grandes volumes de dados qualitativos sem depender de especialistas em programação.
• Para a Pesquisa Bilíngue: Demonstra que o ajuste fino conjunto em línguas de alto e baixo recurso pode melhorar o desempenho em ambos, validando a eficácia de pipelines unificados.
• Reprodutibilidade: Ao disponibilizar todo o código, modelos fine-tuned e dados de exemplo no GitHub, o projeto promove transparência e reprodutibilidade científica, estabelecendo um novo padrão para ferramentas de análise de texto em línguas sub-representadas.

Em resumo, o FreeTxt-Vi preenche uma lacuna crítica ao fornecer uma infraestrutura prática, avaliada e acessível para a análise de texto bilíngue Vietnamita-Inglês, combinando a robustez da linguística de corpus com a potência dos modelos de linguagem modernos.