Eliot: Interactively $\underline{E}$xploring Fast-Changing Scientific $\underline{Li}$terature Trends with $\underline{O}$nline Da$\underline{t}$a and Learning

Resumo Técnico: Eliot – Explorando Interativamente Tendências da Literatura Científica em Rápida Mudança

Declaração do Problema
O crescimento rápido da publicação científica torna cada vez mais difícil rastrear a evolução de áreas de pesquisa em movimento acelerado. Embora motores de busca existentes e assistentes baseados em Modelos de Linguagem de Grande Escala (LLM) recuperem ou resumam artigos, eles frequentemente obscurecem as decisões subjacentes relativas à seleção, organização e conexão do corpus com padrões temporais. Os assistentes de literatura atuais frequentemente apresentam listas classificadas ou sínteses geradas opacas que escondem as evidências por trás das tendências. Os pesquisadores necessitam de um fluxo de trabalho inspecionável para verificar quais documentos sustentam padrões temporais aparentes, compreender como os artigos se separam em temas e identificar direções emergentes sem depender de taxonomias fixas mantidas por especialistas ou scripts específicos de domínio.

Metodologia
Os autores apresentam o Eliot, um sistema interativo implantado publicamente projetado para a exploração rastreável da literatura científica em evolução usando dados online. O sistema opera com base no momento da consulta, recuperando artigos do arXiv em vez de depender de conjuntos de dados de referência fixos.

• Pipeline do Sistema:

  1. Recuperação: Os usuários inserem termos de consulta explícitos (palavras-chave/frases), filtros de categoria, intervalos de datas e critérios de classificação. O sistema recupera artigos relevantes do arXiv, concatenando títulos e resumos para processamento.
  2. Representação e Agrupamento: O corpus recuperado é representado usando incorporações de texto (text embeddings). O sistema suporta tanto agrupamento automático (inferindo estrutura) quanto agrupamento controlado pelo usuário (especificando o número de clusters).
  3. Rotulagem: Cada cluster é atribuído palavras-chave representativas usando TF-IDF baseado em Classes (c-TF-IDF), inspirado no BERTopic, para resumir as características distintivas do grupo.
  4. Visualização: A interface exibe palavras-chave dos clusters, um gráfico de dispersão temporal mostrando a distribuição dos artigos ao longo dos anos de publicação e listas paginadas de artigos com links para as fontes.
  5. Rastreabilidade: Um objetivo central de design é a auditabilidade; os usuários podem inspecionar a filiação aos clusters, comparar rótulos e acessar registros de fontes originais em vez de depender exclusivamente de resumos.

• Avaliação de Configuração Offline (RQ1):
  Para determinar a configuração padrão ótima, os autores conduziram uma avaliação offline automatizada em oito domínios diversos do arXiv (por exemplo, Ciência da Computação, Física, Economia). Eles testaram combinações de:

  • Representações de Documentos: MiniLM, SciBERT e TF-IDF.
  • Redução de Dimensionalidade: UMAP e SVD (com contagens variáveis de componentes).
  • Algoritmos de Agrupamento: K-Means, Agrupamento Aglomerativo e Fuzzy C-Means.
  • Métricas: Métricas intrínsecas de agrupamento (Pontuação Silhueta, Índice Calinski-Harabasz, Índice Davies-Bouldin) e métricas de coerência de tópicos ($C_{V}$ e $C_{NPMI}$).

• Avaliação com Usuários (RQ2 & RQ3):
  A interpretabilidade e a utilidade do sistema foram avaliadas por meio de uma pesquisa baseada em cenários (10 participantes) e um grupo focal de especialistas (4 pesquisadores experientes). Os participantes avaliaram cenários predefinidos (por exemplo, "Modelos de Linguagem de Grande Escala" em Ciência da Computação, "Mercado e Previsão" em Finanças Quantitativas) e realizaram tarefas auto-dirigidas.

Principais Contribuições

1. Um Sistema Interativo Público: O Eliot combina recuperação do arXiv no momento da consulta, agrupamento não supervisionado, rotulagem por palavras-chave, visualização temporal e inspeção no nível do documento em um único fluxo de trabalho.
2. Um Fluxo de Trabalho Rastreável: O sistema expõe configurações de consulta, artigos recuperados, atribuições de clusters e links de origem, apoiando a auditabilidade na análise exploratória de literatura.
3. Análise Empírica de Configuração: Uma avaliação automatizada em oito domínios identificou uma configuração padrão robusta (incorporações MiniLM, UMAP de 10 dimensões e Agrupamento Aglomerativo).
4. Validação Centrada no Usuário: Evidências de pesquisas e grupos focais demonstrando que os usuários consideram os rótulos dos clusters significativos e valorizam o sistema para visões gerais auditáveis de áreas técnicas em rápida mudança.

Resultados

• Seleção de Configuração: A avaliação offline revelou que as incorporações MiniLM foram a representação de melhor desempenho em todos os oito domínios, superando SciBERT e TF-IDF. O UMAP foi o método de redução de dimensionalidade preferido, com 10 componentes sendo a configuração ótima mais frequente. O Agrupamento Aglomerativo apareceu com maior frequência nas configurações de melhor classificação, seguido de perto pelo K-Means. Consequentemente, os autores recomendam MiniLM + UMAP 10D + Agrupamento Aglomerativo como o padrão prático.
• Interpretabilidade pelo Usuário: Na pesquisa, 85% das respostas classificaram os rótulos dos clusters como significativos (4 ou 5 em uma escala Likert), um resultado estatisticamente significativo ($p < 0.001$). Embora a utilidade percebida de cenários específicos tenha variado com base no background do usuário, os participantes mostraram uma percepção positiva da utilidade da ferramenta para pesquisas futuras ($p = 0.047$).
• Feedback de Especialistas: O grupo focal confirmou que o Eliot é mais valioso para fornecer visões gerais rastreáveis de áreas em rápida mudança. Os usuários apreciaram a capacidade de interagir com visualizações e acessar artigos de origem diretamente.
• Limitações Identificadas: Os usuários notaram confusão potencial quando o agrupamento automático produzia granularidades diferentes em diferentes janelas de tempo (devido a limites fixos de busca de documentos afetando a densidade das incorporações). Os autores abordaram isso expondo controles para aumentar o número máximo de artigos recuperados ou alternar para agrupamento controlado pelo usuário.

Significado e Alegações
O artigo afirma que o Eliot generaliza a análise da evolução da literatura além das restrições de taxonomias construídas manualmente e scripts específicos de domínio usados em estudos anteriores (como a análise de literatura de planejamento por LLM de Pallagani et al.). Ao mudar da classificação supervisionada em categorias fixas para agrupamento não supervisionado no momento da consulta, o Eliot permite que os pesquisadores inspecionem diretamente as evidências por trás das tendências da literatura.

Os autores posicionam o Eliot não como um substituto para assistentes de IA orientados a respostas (que sintetizam alegações), mas como uma ferramenta complementar para a fase exploratória anterior. Ele ajuda os pesquisadores a tornar o corpus recuperado visível como temas, rótulos e padrões temporais, apoiando assim "visões gerais auditáveis" de áreas técnicas em rápida mudança. O trabalho sugere que o agrupamento no momento da consulta e a inspeção temporal podem complementar ferramentas de busca e geração, permitindo que os pesquisadores refinem e verifiquem as evidências por trás de tendências emergentes.

Os autores permanecem modestos em suas alegações, observando que os resultados da configuração são "padrões práticos" em vez de ótimos universais, e que os estudos com usuários são preliminares, chamando para avaliações controladas em maior escala em trabalhos futuros.