HugSelect: An Explainable Multi-Criteria Decision-Support Framework for foundation-model selection

Resumo Técnico: HugSelect – Um Framework de Suporte à Decisão Multi-Critério Explicável para Seleção de Modelos de Fundação

1. Declaração do Problema

A seleção de modelos de fundação evoluiu de uma atividade de pesquisa para uma decisão crítica de engenharia de software, uma vez que esses modelos servem como componentes reutilizáveis em sistemas habilitados por IA. No entanto, os mecanismos de seleção atuais enfrentam limitações significativas:

• Popularidade e Filtros de Metadados: Depender de contagens de downloads ou tags fornece apenas representações superficiais, falhando em capturar capacidades funcionais ou restrições operacionais.
• Recuperação por Palavras-chave: O emparelhamento léxico tem dificuldade com fontes de informação heterogêneas e não consegue diferenciar modelos com descrições semelhantes, mas com capacidades funcionais distintas.
• Recomendadores Baseados em LLM: Embora capazes de interpretar consultas complexas, os LLMs conversacionais frequentemente operam como "caixas pretas", carecendo de raciocínio transparente e auditável e sendo suscetíveis a alucinações.

O problema central é a falta de um sistema de suporte à decisão explicável e em escala de repositório que trate a seleção de modelos de fundação como uma tarefa explícita e auditável de seleção de componentes de software, envolvendo requisitos funcionais, preocupações de qualidade não funcionais e restrições operacionais.

2. Metodologia: O Framework HugSelect

O HugSelect é um framework orientado por dados fundamentado em Pesquisa de Ciência de Design (DSR) e Tomada de Decisão Multi-Critério (MCDM). Ele operacionaliza a seleção de modelos através de um pipeline unificado que integra fontes de dados heterogêneas em uma base de conhecimento e aplica um algoritmo de classificação transparente.

A. Integração de Dados e Construção da Base de Conhecimento
O sistema constrói uma base de conhecimento de 71.274 modelos do Hugging Face sintetizando três fontes de evidência complementares:

1. Metadados do Repositório ($F_M$): Atributos estruturados (tags de tarefa, licença, tamanho de parâmetros, contagens de downloads).
2. Características Funcionais ($F_F$): Capacidades extraídas de model cards não estruturados e arquivos README usando técnicas de NLP (filtragem de frases nominais, análise de dependência). Elas são categorizadas em modalidade, tarefa e família de modelos.
3. Atributos de Qualidade Percebida ($F_Q$): Sinais não funcionais derivados de discussões da comunidade (Hugging Face, Reddit, Stack Overflow). Estes são mapeados para características de qualidade ISO/IEC 25010 (ex: confiabilidade, eficiência de desempenho) usando análise de sentimento e classificação baseada em LLM.

B. Mecanismo de Decisão e Explicabilidade

• Extração de Intenção: Consultas em linguagem natural do usuário são processadas para extrair critérios estruturados e pesos. O sistema emprega um esquema de priorização MoSCoW (Must-have, Should-have, Could-have, Won't-have) para atribuir pesos de importância aos critérios.
• Algoritmo de Classificação: O framework utiliza o Modelo de Soma Ponderada (WSM/SAW). Para um modelo candidato $m_i$ e uma consulta $q$, a pontuação é calculada como:
  $$R(m_i, q) = \sum_{j=1}^{k} w_j \cdot s_{ij}$$
  Onde $w_j$ é o peso do critério e $s_{ij}$ é a pontuação normalizada.
• Explicabilidade: Ao contrário dos recomendadores de caixa preta, o HugSelect decompõe a pontuação final em contribuições ao nível do critério ($w_j \cdot s_{ij}$), vincula as pontuações de volta à evidência de origem (ex: trechos específicos de avaliações) e visualiza trade-offs entre variantes de modelos via um grafo de conhecimento.

3. Principais Contribuições

O artigo reivindica quatro contribuições primárias:

1. Suporte à Decisão em Escala de Repositório: Uma formulação da seleção de modelos de fundação como uma decisão de componente de software auditável, indo além da simples busca ou classificação de popularidade.
2. Pipeline Integrado de Síntese de Evidências: Um pipeline automatizado que colhe metadados, capacidades funcionais e sinais de qualidade derivados da comunidade em uma base de conhecimento unificada de mais de 71.000 modelos.
3. Mecanismo de Decisão Explicável: Um motor baseado em WSM/SAW que mapeia os requisitos do usuário para critérios estruturados e decompõe as recomendações em contribuições de pontuação inspecionáveis ao nível do critério.
4. Avaliação Empírica Abrangente: Uma avaliação multifacetada incluindo validação de pipeline, estudos de caso comparativos contra baselines comerciais, análise de ablação e um estudo com usuários praticantes.

4. Resultados da Avaliação

O framework foi avaliado através de três abordagens complementares:

• Validação do Pipeline (RQ1):

  • Extração de Características Funcionais: Alcançou um F1-score de 0,801 e um IoU de 0,668 contra uma verdade fundamental validada por humanos.
  • Mapeamento de Atributos de Qualidade: Alcançou 0,84 de precisão no mapeamento de trechos de avaliações para atributos de qualidade ISO/IEC 25010.
  • Achado: A extração automatizada é eficaz em escala, embora desafios permaneçam com a documentação heterogênea de desenvolvedores.

• Estudos de Caso Comparativos (RQ2):

  • Avaliado contra quatro baselines de LLM comerciais (ChatGPT, Claude, Gemini, Perplexity) através de 44 cenários derivados da literatura.
  • Cobertura de Modelo-Nível @10: O HugSelect alcançou 0,61, superando o Gemini (0,39) e o Perplexity (0,52), e performando de forma comparável ao Claude (0,64) e ChatGPT (0,52).
  • Cobertura de Família-Nível @10: O HugSelect alcançou 0,91, indicando forte habilidade em identificar famílias de modelos relevantes mesmo quando os IDs exatos dos modelos diferem.
  • Significância Estatística: O HugSelect superou significativamente o Gemini ($p < 0,05$), mas não mostrou diferença estatisticamente significativa em relação ao ChatGPT ou Claude na qualidade geral de classificação.
  • Achado Qualitativo: Diferente dos baselines de LLM que frequentemente exibiam viés de popularidade, o HugSelect forneceu raciocínio estruturado e rastreável.

• Estudo de Ablação:

  • A remoção de características funcionais causou a maior queda na cobertura de nível de modelo (0,61 $\to$ 0,23), identificando-as como o principal motor para a recuperação de modelos exatos.
  • A remoção de atributos de qualidade reduziu a discriminação de nível de família (0,91 $\to$ 0,77).
  • Abordagens baseadas apenas em metadados renderam o menor desempenho (0,09 de cobertura de nível de modelo).

• Estudo de Usuário (RQ3):

  • Um estudo exploratório com 10 participantes baseado no Modelo de Aceitação de Tecnologia (TAM).
  • Os participantes avaliaram o sistema positivamente para Utilidade Percebida (Média = 1,62) e Facilidade de Uso Percebida (Média = 1,48), sugerindo que a abordagem estruturada e transparente é intuitiva e valiosa.

5. Significância e Alegações

O artigo posiciona o HugSelect não como um sistema que sempre identifica o único modelo "ideal", mas como uma ferramenta que torna a razão da seleção explícita e auditável.

• Transparência sobre Opacidade: A principal significância reside na mudança de conselhos conversacionais opacos para um processo de decisão rastreável onde os usuários podem inspecionar por que um modelo é recomendado e quais trade-offs (ex: desempenho vs. licença) impulsionaram a classificação.
• Perspectiva de Engenharia de Software: Reenquadra a seleção de modelos de fundação como um problema padrão de seleção de componentes de software, integrando requisitos não funcionais (licenciamento, restrições de implantação) junto com capacidades funcionais.
• Viabilidade: Os resultados fornecem evidências preliminares de que a mineração de repositórios e o MCDM podem ser combinados com sucesso para apoiar a seleção transparente e em larga escala de modelos, oferecendo uma alternativa prática às recomendações baseadas puramente em popularidade ou em IA de caixa preta.

Os autores reconhecem limitações, incluindo o uso de escolhas relatadas na literatura como proxy para a verdade fundamental, a dependência de métricas de qualidade percebidas em vez de objetivas, e a natureza exploratória do estudo de usuário. Eles concluem que, embora o HugSelect seja competitivo com baselines comerciais em qualidade de recuperação, seu valor distinto é o fornecimento de um raciocínio estável, rastreável e inspecionável para engenheiros de software.