🤖 AI

Towards Efficient Multimodal and Multilingual Opinion Extraction for STI: A QLoRA-Based Fine-Tuning Approach

Este artigo propõe um framework de ajuste fino baseado em QLoRA utilizando o VideoLLaMA2.1 para aprimorar a extração de opiniões multimodais e multilíngues para Inteligência de Ciência e Tecnologia, alcançando ganhos de desempenho significativos sobre baselines zero-shot e incorporando um módulo de teoria do prospecto difuso para avaliação de valor a jusante.

Autores originais: Sheng Hong, Xuanqi Wang, Jiacheng Wang, Yuwei Wang

Publicado 2026-08-17

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Sheng Hong, Xuanqi Wang, Jiacheng Wang, Yuwei Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando encontrar a frase mais importante em uma biblioteca que nunca para de crescer, onde os livros são escritos em dezenas de idiomas diferentes e alguns deles são, na verdade, filmes ou álbuns de fotos em vez de texto. Este é o mundo da Inteligência em Ciência e Tecnologia (STI). É o trabalho de especialistas escanear esse fluxo massivo e caótico de informações para encontrar as "opiniões centrais" — os insights reais e valiosos sobre novas invenções ou reações públicas que realmente importam. Mas aqui está o problema: os computadores que costumamos usar para ler essas coisas são como turistas que falam um pouco da língua local, mas se confundem facilmente. Eles podem ler um filme inteiro e dizer a você como está o tempo lá fora em vez de falar sobre o enredo, ou podem se perder quando a história muda de inglês para russo. Eles são ótimos em ler, mas terríveis em se focar no que é verdadeiramente importante.

Para consertar isso, pesquisadores estão ensinando esses computadores a se tornarem melhores detetives. Eles usam uma técnica chamada ajuste fino (fine-tuning), que é como pegar um estudante inteligente, mas distraído, e dar a ele um conjunto específico de testes práticos para que ele aprenda exatamente o que procurar. Eles também usam o aprendizado multimodal, o que significa que o computador não apenas lê palavras; ele olha para imagens e vídeos também, usando-os como pistas para entender melhor o texto. A grande questão é: podemos ensinar um computador a ignorar o ruído, entender muitos idiomas e extrair a opinião mais importante de uma mistura bagunçada de texto, imagens e vídeo, tudo isso sem precisar de um supercomputador do tamanho de uma casa para fazer isso?

Este artigo é sobre a construção de um detetive superinteligente e focado para exatamente esse trabalho. Os autores criaram um novo "campo de treinamento" (um conjunto de dados) com 2.194 exemplos de notícias e postagens de redes sociais em quatro idiomas: inglês, chinês, espanhol e russo. Esses exemplos não eram apenas texto; eles eram misturados com imagens e vídeos, exatamente como na vida real. Eles então pegaram um modelo de IA poderoso chamado VideoLLaMA2.1 e deram a ele um treino especial e eficiente usando um método chamado QLoRA. Pense no QLoRA como uma forma de ensinar uma nova habilidade ao modelo sem ter que reescrever todo o seu cérebro, o que economiza uma enorme quantidade de energia e poder computacional.

Os resultados foram bastante empolgantes. Antes desse treinamento, a IA era como um turista confuso. Quando questionada para encontrar a opinião principal em espanhol ou russo, ela mal acertava quase nada (pontuando menos de 5% em alguns testes). Mas após o treino de QLoRA, a IA tornou-se uma especialista afiada. Ela começou a encontrar as opiniões centrais em espanhol e russo com uma precisão muito maior, saltando de quase zero para mais de 50% em alguns casos. A melhor versão do sistema deles conseguiu selecionar a opinião correta cerca de 51% das vezes (um F1-score de 51,14%) enquanto era muito segura sobre o que escolheu (64,98% de precisão).

O artigo também descobriu que dar à IA uma única imagem útil para observar enquanto lia o texto funcionava melhor do que alimentá-la com o vídeo inteiro ou apenas o texto sozinho. É como dar a um detetive uma foto clara de um suspeito em vez de uma gravação de segurança borrada de horas de duração.

No entanto, os autores são cuidadosos ao não dizer que "resolveram" tudo. Eles admitem que, quando um texto está repleto de muitas opiniões diferentes ao mesmo tempo, a IA às vezes ainda perde algumas delas ou agarra um detalhe que não é exatamente o ponto principal. Ela ainda está aprendendo a lidar com as sentenças mais cheias e complicadas.

Para tornar o sistema ainda mais útil, os autores adicionaram uma etapa final de "graduação". Assim que a IA encontra uma opinião, um módulo especial usa um truque matemático chamado Teoria do Prospecto Cumulativo Difuso (Fuzzy Cumulative Prospect Theory) para dar a essa opinião uma "classificação por estrelas" de 2 a 5 estrelas. Isso ajuda os analistas humanos a decidir quais opiniões são de "Prioridade" (5 estrelas) e precisam de atenção imediata, e quais são apenas de "Contexto" (2 estrelas).

Em resumo, este artigo mostra que, ao usar um método de treinamento inteligente e eficiente e misturar o texto com pistas visuais, podemos ensinar a IA a cortar o ruído dos fluxos de informações globais e encontrar as histórias reais, mesmo em idiomas com os quais ela tinha dificuldade antes. Não é perfeito ainda, mas é um grande passo para dar sentido ao nosso mundo multimodal e barulhento.

Resumo Técnico: Rumo à Extração Eficiente de Opiniões Multimodais e Multilíngues para STI

1. Declaração do Problema

A análise de Ciência e Tecnologia (STI - Science and Technology Intelligence) requer a extração de opiniões centrais e concisas a partir de fluxos de informações vastos e heterogêneos que são cada vez mais multimodais (texto, imagens, vídeos) e multilíngues (incluindo inglês, chinês, russo e espanhol). Os modelos de Linguagem de Grande Escala (LLMs) e os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) prontos para uso enfrentam três desafios primários neste domínio:

Desfoque de Extração: Os modelos frequentemente geram conjuntos amplos de opiniões periféricas em vez de opiniões centrais distintas e estruturadas, reduzindo a clareza dos resultados.
Deriva Linguística (Language Drift): A estabilidade do desempenho degrada-se significativamente em ambientes não ingleses (ex: russo e espanhol), levando a saídas pouco confiáveis em cenorários zero-shot.
Restrições de Recursos: O ajuste fino de parâmetros totais (full-parameter fine-tuning) de grandes modelos é computacionalmente proibitivo para muitos contextos de pesquisa, necessitando de estratégias eficientes de parâmetros.

Os modelos zero-shot existentes lutam para filtrar ruídos e fornecer saídas estruturadas confiáveis (ex: JSON) nestes contextos complexos, multilíngues e multimodais.

2. Metodologia

Os autores propõem um framework abrangente projetado para transformar a leitura semântica ampla em extração de inteligência focada. A metodologia consiste em quatro componentes integrados:

A. Construção do Conjunto de Dados

Um novo conjunto de dados multimodal e multilíngue foi construído contendo 2.194 instâncias anotadas em quatro idiomas (inglês, chinês, espanhol, russo) e três modalidades (texto, imagem, vídeo).

Esquema de Anotação: Uma "opinião central" é definida como uma declaração avaliativa distinta, diretamente relevante para alvos de monitoramento de STI, expressando um posicionamento ou um julgamento prospectivo.
Controle de Qualidade: O conjunto de dados foi construído através de um processo de oito etapas, incluindo limpeza, deduplicação e anotação por anotadores multilíngues treinados. A consistência das etiquetas de sentimento foi verificada usando o Kappa de Cohen contra o DeepSeek-V3.2, mostrando concordância estável (Kappa ponderado > 0,87 para inglês e espanhol).

B. Seleção do Modelo Base

O estudo avaliou quatro MLLMs de 7 bilhões de parâmetros (Video-LLaVA, Video-LLaMA, VideoLLaMA2 e VideoLLaMA2.1). O VideoLLaMA2 (VL2) e o VideoLLaMA2.1 (VL2.1) foram selecionados como modelos base devido ao seu suporte para contextos longos (até 131K tokens para o VL2.1), capacidades multilíngues e viabilidade de treinamento no hardware disponível (duas GPUs A100-40GB).

C. Ajuste Fino de Parâmetros Eficientes (QLoRA)

Para adaptar os modelos sem o retreinamento total, os autores aplicaram a Adaptação de Baixo Rank Quantizada (QLoRA):

Mecanismo: O backbone de 7B é congelado e quantizado para 4 bits (NF4). Matrizes de baixo rank treináveis ( $A$ e $B$ ) são adicionadas às camadas lineares.
Configuração: Os hiperparâmetros ideais identificados foram um rank ( $r$ ) de 256 e um fator de escala ( $\alpha$ ) de 512.
Restrição de Saída: O processo de ajuste fino restringe o modelo a gerar opiniões centrais estruturadas no formato JSON, reduzindo a inconsistência estrutural comum em saídas generativas.

D. Avaliação de Valor ao Nível de Caso

Após a extração, um módulo de Teoria do Prospecto Cumulativa Difusa (Fuzzy-CPT) avalia cada caso extraído.

Dimensões: Os casos são pontuados em cinco dimensões: Credibilidade, Relevância, Calor Local (Local Heat), Consistência e Recência.
Saída: Um valor unificado ( $V \in [0, 1]$ ) é gerado, categorizando os casos em quatro níveis: Prioridade 5 Estrelas, Alto Valor 4 Estrelas, Referência 3 Estrelas e Valor Limitado 2 Estrelas.

3. Principais Contribuições

Criação de Conjunto de Dados: Construção de um conjunto de dados de opinião de STI curado, multimodal e multilíngue com 2.194 instâncias, fornecendo fundamentação visual e textual para o treinamento.
Framework de Ajuste Fino: Aplicação de QLoRA a MLLMs de 7B para alcançar adaptação eficiente, demonstrando que modelos ajustados superam significativamente os basais zero-shot e baseados em prompt em extração estruturada, particularmente para idiomas de baixo recurso.
Módulo de Avaliação de Valor: Introdução de um sistema de triagem pós-extração baseado em Fuzzy-CPT que quantifica o valor de inteligência dos casos extraídos para triagem subsequente.

4. Resultados Experimentais

Experimentos foram conduzidos em um conjunto de teste mantido fora (held-out) de 200 amostras (50 por idioma).

Desempenho dos Modelos Ajustados

Sob a configuração selecionada de Aumento por Imagem (texto pareado com uma pista visual estática representativa), o modelo VL2.1 ajustado alcançou:

Precisão: 64,98%
Recall (Revocação): 42,15%
F1-Score: 51,14%
Acurácia ao Nível da Amostra: 74,00%

Comparação com Basais

Zero-Shot vs. Ajustado: O ajuste fino melhorou dramaticamente o desempenho em idiomas de baixo recurso. Para o Espanhol, o F1-score subiu de 4,83% (zero-shot) para 46,05%. Para o Russo, aumentou de 0,45% para 51,93%.
Engenharia de Prompt: Embora o prompting de 4-Shot tenha melhorado o recall e a cobertura ao nível da amostra, ele não conseguiu igualar a precisão e os F1-scores da abordagem de ajuste fino via QLoRA.
Modelos Externos: O VL2.1 ajustado superou modelos externos de estado da arte (DeepSeek-V3.2, Qwen3-Omni-Flash, Claude-Sonnet-4-6) em Precisão e F1-score. Por exemplo, alcançou um F1-score 10,10 pontos percentuais superior ao melhor basal externo (Claude-Sonnet-4-6 com 41,04%).

Estudos de Ablação

Hiperparâmetros: Aumentar o rank do LoRA de 64 para 256 melhorou consistentemente o Recall e os F1-scores, com $r=256$ produzindo os melhores resultados gerais.
Modalidades: A configuração de Aumento por Imagem (texto + imagem estática) teve um desempenho ligeiramente superior às configurações de Centro em Texto e de Modalidade Total (texto + imagem + vídeo), sugerando que pistas visuais estáticas servem como âncoras contextuais eficazes sem a complexidade do processamento de vídeo completo.

Análise de Erros

A inspeção manual revelou que, embora o modelo recupere com sucesso as opiniões centrais na maioria dos casos, permanecem desafios em entradas densas de múltiplas opiniões, onde o modelo pode omitir opiniões secundárias válidas ou fragmentar uma única opinião em múltiplos itens.

5. Significância

O artigo afirma que este framework oferece uma abordagem de parâmetros eficientes para o monitoramento de inteligência global automatizado. Ao integrar o ancoramento contextual multimodal com o ajuste fino baseado em QLoRA, o estudo aborda os desafios duplos da deriva linguística e do custo computacional associados aos MLLMs tradicionais zero-shot.

A significância reside na capacidade de produzir opiniões centrais estruturadas em formato JSON com alta precisão, melhorando especificamente o desempenho em idiomas (Russo, Espanhol) onde os modelos prontos para uso falharam anteriormente. Além disso, a inclusão da avaliação de valor Fuzzy-CPT fornece um mecanismo para triagem das informações extraídas, ofereando um "sinal de valor ao nível do caso" que suporta a triagem de STI e a análise de políticas. Os autores posicionam este trabalho como um passo para a integração da extração automatizada com bases de dados de STI existentes em ambientes de informação de domínios complexos.