🤖 machine learning

LLM for the development of FCM

Este artigo demonstra que um modelo de linguagem de grande escala local (Qwen2.5-32B) pode extrair dados quantitativos de avaliações não filtradas de hotéis do TripAdvisor para construir e validar um Mapa Cognitivo Difuso baseado em dados que correlaciona efetivamente as preferências dos avaliadores com as classificações de estrelas.

Autores originais: Alexis Kafantaris

Publicado 2026-07-10

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Alexis Kafantaris

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um cérebro de robô gigante e tagarela vivendo no seu próprio computador. Este robô, chamado Qwen2.5-32B, é como um detetive superinteligente que pode ler milhares de avaliações de hotéis e descobrir exatamente o que faz um viajante feliz. O artigo de Alexis Kafantaris nos mostra como este detetive robô local pode construir um "Mapa Cognitivo Difuso" (FCM), que é, basicamente, uma teia de aranha digital de causa e efeito que explica por que as pessoas dão estrelas boas ou ruins aos hotéis.

A Missão do Detetive: Transformando Palavras em Números

Normalmente, para entender avaliações de hotéis, você poderia tentar contar palavras ou adivinhar o humor. Mas este artigo sugere uma maneira mais inteligente: deixar o robô ler o texto e extrair números específicos, como uma pontuação para "Equipe", "Café da Manhã" ou "Ruído".

Pense nisso como um chef provando uma sopa. Em vez de apenas dizer "está boa", o robô prova a sopa e diz: "O sal é +0,6, a pimenta é -0,1 e o caldo é +0,7". O robô fez isso para 1.505 avaliações de hotéis gregos do TripAdvisor. Ele transformou textos bagunçados e tagarelas em uma tabela de números organizada.

Construindo a Teia de Aranha (O FCM)

Assim que o robô obteve os números, os pesquisadores construíram o Mapa Cognitivo Difuso. Imagine uma teia de aranha onde o centro é a "Satisfação" do hóspede. Presas a este centro estão nove diferentes mechas, cada uma representando uma característica do hotel, como Equipe, Valor, Conforto ou Localização.

Os pesquisadores ensinaram à teia de aranha o quão forte cada mecha é usando um truque matemático chamado gradiente descendente. É como um trilheiro tentando encontrar o fundo de um vale dando pequenos passos ladeira abaixo; o trilheiro continua ajustando o caminho até encontrar o ponto perfeito onde o erro é o menor possível. Neste caso, o "trilheiro" ajustou a força das conexões entre as características (como Equipe) e o sentimento final (Satisfação) até que o modelo pudesse prever com precisão o quão feliz um hóspede estaria.

O Que a Teia de Aranha Revelou

Os resultados foram surpreendentemente claros. O robô descobriu que, para os avaliadores gregos, as duas mechas mais fortes que sustentam o centro da "Satisfação" eram Equipe e Valor.

Equipe tinha um peso de +0,65.
Valor tinha um peso de +0,56.
Conforto e Comodidades também eram importantes, mas Check-in e Limpeza foram links surpreendentemente fracos, contribuindo muito pouco quando os outros fatores foram considerados.

O artigo descarta explicitamente a ideia de que cérebros robóticos menores (como as versões 0.5B ou 7B) poderiam realizar este trabalho. Os autores descobriram que modelos menores estavam "alucinando" (inventando coisas) ou errando os sinais (dizendo que algo era bom quando era ruim). Apenas o modelo maior e mais inteligente, o Qwen2.5-32B, conseguiu extrair os dados corretamente. Eles também testaram uma ferramenta chamada VADER (um analisador de sentimento padrão), mas ela falhou miseravelmente porque não conseguia lidar com sentimentos mistos ou categorias específicas em avaliações de hotéis.

A Teia de Aranha é Real? (A Prova)

Como sabemos que isso não é apenas um palpite de sorte? Os pesquisadores realizaram uma série de testes:

O Teste do "E Se": Eles embaralharam as respostas aleatoriamente 200 vezes. Quando fizeram isso, o modelo falhou completamente (obtendo uma pontuação de -0,324). Isso prova que o modelo aprendeu padrões reais, não apenas ruído.
O Teste da "Classificação por Estrelas": Aqui está a parte mais legal. O robô nunca viu as classificações por estrelas (1 a 5 estrelas) durante seu treinamento. Ele viu apenas o texto e os números extraídos. Mais tarde, os pesquisadores compararam a pontuação de "Satisfação" prevista pelo robô com as classificações reais de estrelas que os hotéis receberam.
- Para hotéis com pelo menos 10 avaliações, a previsão do robô coincidiu com a classificação de estrelas com uma correlação de +0,807.
- Isso sugere que, se o robô acha que um hóspede está satisfeito com base no texto, esse hóspede tem muita probabilidade de dar uma classificação alta ao hotel.

Os Limites da Magia

O artigo é cuidadoso ao não chamar isso de um problema perfeito e resolvido.

Não é o preditor mais forte: Se você quer apenas o maior score possível para prever um número, outras ferramentas como XGBoost ou Random Forest na verdade tiveram um desempenho melhor (pontuando +0,856 contra os +0,782 do FCM).
O Diferencial: A razão para usar esta teia de aranha FCM não é o poder bruto; é a clareza. Você pode olhar para a teia e ver exatamente por que o robô acha que um hotel é bom (por causa da mecha da Equipe). Você não consegue ver dentro da "caixa preta" das outras ferramentas.
O Custo: Rodar este cérebro robótico local é caro e lento. Requer um computador potente (GPU) e leva horas para processar mesmo alguns milhares de avaliações. Os autores sugerem que, embora funcione, ainda não é uma solução barata e instantânea para milhões de avaliações.

A Conclusão

Este artigo sugere que um robô de IA local pode ler avaliações de hotéis, transformá-las em números e construir um mapa claro e compreensível do que torna os hóspedes felizes. Ele prova que Equipe e Valor são os reis da satisfação hoteleira na Grécia. Embora não seja a ferramenta mais rápida ou poderosa disponível, oferece uma visão única e transparente dos sentimentos humanos que outras ferramentas não conseguem fornecer. Os autores concluem que este método funciona bem o suficiente para ser útil, mas trabalhos futuros precisam encontrar maneiras mais baratas de executá-lo e talvez adicionar mais características ao mapa.

Resumo Técnico: LLM para o Desenvolvimento de FCM

Problema
O artigo aborda uma lacuna na aplicação de Modelos de Linguagem de Grande Escala (LLMs) à construção de Mapas Cognitivos Difusos (FCMs). Enquanto pesquisas anteriores utilizaram LLMs para extrair diretamente relações causais entre conceitos (ex: a abordagem de Kosko), este trabalho propõe um pipeline distinto: o uso de um LLM local para extrair dados quantitativos (pontuações de sentimento) de entradas textuais, que são então utilizados para treinar um FCM orientado por dados via gradiente descendente. Os autores observam que o trabalho anterior, baseado na extração direta de causalidade por LLMs, frequentemente exige modelos de ponta caros, e que o potencial de usar LLMs meramente como motores de extração de dados para o treinamento subsequente de FCMs não foi explorado minuciosamente.

Metodologia
O framework proposto segue um pipeline de cinco etapas para transformar avaliações de hotéis não estruturadas em um modelo preditivo e interpretável:

Obtenção e Pré-processamento de Dados: O estudo utiliza 1.505 avaliações de hotéis gregos do TripAdvisor.
Análise de Sentimento Baseada em Aspectos (ACSA) via LLM Local: Em vez de ferramentas tradicionais de análise de sentimento (que os autores consideraram limitadas, ex: o VADER falhou na extração de sentimentos mistos), os autores empregam um LLM local, especificamente o Qwen2.5-32B. Este modelo realiza a predição zero-shot para atribuir pontuações de sentimento contínuas a um conjunto fixo de nove categorias de conceitos derivados da Hontology (Limpeza, Equipe, Localização, Café da Manhã, Ruído, Valor, Conforto, Comodidades, Check-in). Os autores determinaram que modelos menores (ex: Qwen2.5-0.5B, Mistral-7B) produziam sinais ruidosos ou alucinações, enquanto o modelo de 32 bilhões de parâmetros forneceu uma extração válida e de alta precisão.
Construção de FCM Orientada por Dados: As pontuações de sentimento extraídas servem como atributos de entrada para um Mapa Cognitivo Difuso. O FCM é modelado como uma rede neural recorrente rasa, onde os conceitos são nós e as relações causais são arestas ponderadas.
Treinamento: Os pesos (especificamente as conexões de motor-para-satisfação) são aprendidos usando gradiente descendente para minimizar o erro quadrático de predição entre a saída do modelo e a pontuação de satisfação alvo. A função de ativação utilizada é tanh.
Avaliação: O sistema é avaliado utilizando uma divisão de teste de 70/30, validação cruzada k-fold (5-fold), estudos de ablação e testes nulos de permutação.

Principais Resultados

Desempenho Preditivo: O FCM orientado por dados alcançou um $R^2$ de teste de 0,795, superando significativamente a linha de base de regressão linear (0,669) e o estimador de média (-0,000). Embora não tenha superado o poder preditivo bruto de modelos de "caixa-preta" como XGBoost (0,856) ou Random Forest (0,850), manteve um alto desempenho oferecendo interpretabilidade.
Ablação e Importância de Atributos: O estudo de ablação revelou que Equipe (Staff) e Valor (Value) são os drivers mais críticos para a satisfação. A remoção desses conceitos causou a maior degradação no desempenho do modelo. Por outro lado, "Check-in" e "Limpeza" contribuíram de forma negligenciável uma vez que outros drivers estavam presentes.
Estabilidade: O modelo demonstrou estabilidade através da validação cruzada de 5-fold, com baixos desvios padrão nos pesos aprendidos (ex: peso de Equipe: $0,649 \pm 0,013$ ).
Validação Externa: Uma etapa crucial de validação envolveu correlacionar as pontuações de satisfação previstas pelo modelo com as classificações de estrelas reais dos hotéis no TripAdvisor. O modelo nunca havia visto as classificações de estrelas durante o treinamento. Observou-se uma forte correlação de Pearson positiva, atingindo 0,807 para hotéis com pelo menos 10 avaliações, confirmando que os sinais de sentimento extraídos alinham-se com as classificações reais dos usuários.

Principais Contribuições

Pipeline Inovador: O artigo introduz um fluxo de trabalho específico onde um LLM local atua como um motor de extração de dados para gerar dados de sentimento tabulares, que são então usados para treinar um FCM baseado em gradiente descendente, em vez de usar o LLM para inferir causalidade diretamente.
Viabilidade de LLM Local: Demonstra que modelos locais (Qwen2.5-32B) podem realizar efetivamente análises de sentimento baseadas em aspectos complexos em textos de domínio específico (avaliações de hotéis) com precisão suficiente para treinar modelos subsequentes, oferecendo uma alternativa preservadora de privacidade aos modelos SOTA baseados em nuvem.
Interpretabilidade: O FCM resultante fornece um mapa de "topologia em estrela" onde a influência causal de atributos específicos (ex: Equipe, Valor) sobre a satisfação geral é quantificada e visualizada, oferecendo insights que modelos de caixa-preta não podem fornecer.

Significância e Alegações
Os autores alegam que esta implementação consegue preencher a lacuna entre o texto não estruturado e a modelagem de dinâmica de sistemas estruturada. A significância reside na capacidade de criar um FCM orientado por dados e interpretável sem depender de elicitação manual de especialistas para definição de pesos ou de LLMs caros para inferência direta de causalidade. A forte correlação entre a métrica interna de "satisfação" do modelo e as classificações de estrelas do TripAdvisor valida a capacidade do pipeline de capturar as preferências genuínas dos usuários.

O artigo mantém um tom modesto quanto às limitações, reconhecendo que, embora a abordagem de LLM local seja eficaz, ela é computacionalmente cara (exigindo GPUs) e limitada em escala comparada a APIs de nuvem. Além disso, os autores observam que, embora o FCM seja interpretável, ele não é o melhor preditor absoluto em termos de precisão bruta comparado a métodos de conjunto como o XGBoost; seu principal valor está em compreender o mecanismo da satisfação do usuário, em vez de maximizar apenas o poder preditivo. Sugere-se como trabalho futuro expandir o conjunto de entidades e utilizar o FCM como uma ferramenta de recomendação personalizada.