Seeking Information with RAG-Assistants: Does Model Size Matter in Human-AI Collaborations?

Resumo Técnico: Busca de Informação com Assistentes RAG: O Tamanho do Modelo Importa em Colaborações Humano-IA?

Declaração do Problema
Embora pesquisas extensas sobre Modelos de Linguagem de Grande Porte (LLMs) se concentrem no aumento do desempenho em benchmarks, a avaliação desses modelos em fluxos de trabalho reais de colaboração humano-IA com múltiplas interações permanece subdesenvolvida. As avaliações atuais frequentemente dependem de métricas quantitativas (precisão, exatidão, revocação) derivadas de interações de turno único, o que favorece modelos comerciais maiores e falha em capturar as nuances de tarefas profissionais de busca de informação. Em cenários de trabalho envolvendo dados sensíveis e conformidade rigorosa (por exemplo, Lei de IA da UE), há uma necessidade de modelos de pesos abertos e implantáveis localmente. No entanto, permanece incerto o quão pequenos esses modelos podem ser quando integrados a sistemas de Geração Aumentada por Recuperação (RAG), mantendo desempenho e usabilidade adequados em um ambiente colaborativo.

Metodologia
Os autores conduziram um experimento com 112 participantes para avaliar um assistente RAG no estilo de chatbot em um cenário realista de busca de informação.

• Tarefa: Os participantes responderam a nove perguntas detalhadas baseadas em um manual de voo com mais de 400 páginas, um documento escolhido por sua complexidade estrutural e especificidade de domínio.
• Condições: O estudo comparou três tamanhos de modelo da família Llama (3B, 8B e 70B) em dois cenários:
  1. Linha de Base (LLM+RAG): Uma interação de turno único onde o assistente RAG responde diretamente à pergunta original.
  2. Colaboração Humano-IA: Os participantes puderam interagir com o assistente RAG em múltiplos turnos, optar por consultar o documento-fonte diretamente ou combinar ambos os métodos.
• Arquitetura do Sistema: O pipeline RAG utilizou uma abordagem sequencial. Um documento foi fragmentado (tamanho 1024) e incorporado usando intfloat/multilingual-e5-large-instruct. Ao receber uma consulta, o sistema recuperou os 5 fragmentos mais relevantes com base na similaridade cosseno e os passou para o LLM gerador com um prompt de sistema.
• Métricas de Avaliação:
  • Desempenho Objetivo: Exatidão das respostas (correta, parcialmente correta, incorreta) medida por meio de um modelo linear de efeitos mistos controlando a variabilidade dos participantes e das perguntas.
  • Métricas Subjetivas: Usabilidade percebida e satisfação foram avaliadas usando um questionário de 10 itens baseado no framework ASA (escala Likert de 5 pontos).
  • Eficiência: O tempo de conclusão da tarefa foi registrado.

Principais Contribuições

1. Avaliação Sistemática de Tamanhos de Modelo: Uma análise comparativa de assistentes RAG baseados em LLMs de pesos abertos e pequenos (3B, 8B, 70B) em um cenário híbrido humano-IA.
2. Simulação de Cenário Realista: Um desenho experimental que imita tarefas profissionais de busca de informação envolvendo documentos grandes e complexos, indo além de conjuntos de dados padrão de benchmarks.
3. Análise de Interação em Múltiplos Turnos: Um experimento medindo exatidão, usabilidade e satisfação em múltiplos turnos, destacando as dinâmicas da colaboração humano-IA em vez do desempenho de turno único.

Resultados

• Valor da Colaboração Humano-IA: O cenário de colaboração humano-IA superou significativamente tanto a configuração apenas de LLM quanto a configuração de linha de base LLM+RAG em todos os tamanhos de modelo ($p < .001$). Isso confirma o valor agregado da interação humana em tarefas de busca de informação.
• Impacto do Tamanho do Modelo na Exatidão:
  • Na configuração de linha de base (LLM+RAG), o desempenho aumentou significativamente de 3B para 8B e de 3B para 70B.
  • No cenário de Colaboração Humano-IA, a lacuna de desempenho entre os modelos 8B e 70B foi fechada; o modelo 8B desempenhou de forma comparável ao modelo 70B quando assistido por humanos.
  • O modelo 3B beneficiou-se mais da colaboração humana, estreitando a lacuna com modelos maiores.
• Usabilidade Percebida e Satisfação: Contrariando as tendências de desempenho objetivo, a usabilidade percebida e a satisfação mostraram pouca diferença entre os tamanhos de modelo.
  • O modelo 70B foi avaliado significativamente mais alto que o modelo 8B em confiabilidade e pontuações gerais de ASA, mas o modelo 3B pontuou igualmente bem ou melhor em engajamento e responsividade.
  • No geral, os participantes não perceberam os modelos maiores como decisivamente mais capazes que os menores em termos de experiência do usuário.
• Estratégias de Interação: Os participantes usaram predominantemente uma estratégia de "copiar e colar". Quando isso falhava, eles empregavam estratégias como "distribuição" (dividir perguntas), "contextualização" (fornecer excertos) e "retrocesso".

Significado e Alegações
O artigo argumenta que, embora o tamanho do modelo influencie o desempenho da linha de base, a colaboração humano-IA atua como um fator mitigador que pode fechar as lacunas de desempenho entre modelos menores e maiores. O estudo destaca um "compromisso matizado" onde modelos maiores não necessariamente resultam em maior usabilidade percebida ou satisfação em comparação com modelos menores e mais eficientes.

Os autores afirmam que seu trabalho demonstra a necessidade de avaliar aplicações de IA em interações reais de múltiplos turnos com usuários humanos. Eles sugerem que focar exclusivamente no desempenho de benchmarks fornece uma imagem incompleta, pois ignora os benefícios sinérgicos de sistemas híbridos e a experiência subjetiva do usuário. As descobertas apoiam a viabilidade do uso de modelos menores e implantáveis localmente em aplicações RAG, desde que integrados a fluxos de trabalho colaborativos onde a supervisão humana possa compensar as limitações do modelo.