LLLMs: A Data-Driven Survey of Evolving Research on Limitations of Large Language Models

Este artigo apresenta uma revisão semiautomatizada e orientada por dados de pesquisas sobre as limitações de modelos de linguagem grandes (LLLMs) entre 2022 e 2025, identificando um crescimento acelerado do tema e mapeando suas principais tendências, como raciocínio, alucinação e segurança, por meio da análise de um vasto corpus de publicações.

O essencial

Imagine que os Modelos de Linguagem Grandes (LLMs), como o ChatGPT, são como crianças superinteligentes que aprenderam a ler quase todos os livros do mundo em questão de dias. Elas escrevem poemas, resolvem problemas de matemática e até programam computadores. Mas, assim como qualquer criança, elas cometem erros, alucinam coisas que não existem e às vezes dizem o que não devem.

Este artigo é como um grande relatório de saúde feito por cientistas para entender exatamente onde essas "crianças" estão tropeçando.

Aqui está a explicação do que eles descobriram, usando analogias do dia a dia:

1. O Grande Crescimento (A "Explosão" de Estudos)

Os autores olharam para 250.000 artigos científicos escritos entre 2022 e 2025.

• A Analogia: Imagine que em 2022, havia uma pequena feira de ciências sobre robôs. Em 2025, essa feira virou um festival gigante com milhares de estandes.
• O que eles viram: O número de estudos sobre os erros desses robôs cresceu ainda mais rápido do que os estudos sobre como fazê-los funcionar. Em 2025, mais de 30% de todos os artigos sobre IA já estavam focados apenas em descobrir onde ela falha. É como se, depois de construir o carro, todo mundo estivesse correndo para ver onde estão os freios defeituosos.

2. A "Caixa de Ferramentas" de Detecção de Erros

Como é impossível ler 250.000 papéis um por um, os cientistas usaram uma IA para ler a IA.

• A Analogia: Eles criaram um "detetive robótico" (usando modelos como o Llama-3 e GPT-4) para vasculhar os títulos e resumos dos artigos. Esse detetive foi treinado por humanos para identificar quando um artigo fala sobre "problemas" e não apenas sobre "sucessos".
• O Resultado: O detetive achou 14.648 artigos que discutem especificamente as limitações desses modelos. Eles validaram esse trabalho comparando com o que humanos reais leram, garantindo que o robô não estava alucinando os resultados.

3. Os Principais "Defeitos" Encontrados

Depois de organizar esses milhares de artigos, eles agruparam os problemas em categorias, como se estivessem organizando uma caixa de brinquedos quebrados:

• Raciocínio (O Campeão de Vendas): É o problema mais estudado. É como se a criança soubesse todas as palavras, mas às vezes não entendesse a lógica por trás delas. Ela pode resolver uma equação de matemática, mas falhar em entender um enigma de lógica simples.
• Alucinação (O Mentiroso Criativo): O modelo inventa fatos. É como um aluno que, em vez de dizer "não sei", inventa uma história convincente sobre um evento que nunca aconteceu. Isso é perigoso, especialmente em medicina ou direito.
• Segurança (O Portão Aberto): Estudos mostram que pessoas podem "hackear" o robô para fazer coisas ruins (como criar vírus ou discursos de ódio). É como descobrir que a fechadura da casa não é tão segura quanto pensávamos.
• Viés (O Espelho Distorcido): O robô aprendeu com a internet, e a internet tem preconceitos. Então, o robô pode repetir estereótipos de gênero ou raça, como se fosse um espelho que reflete os piores defeitos da sociedade.

4. A Mudança de Foco (O Que Está Acontecendo Agora?)

O estudo mostrou uma mudança interessante ao longo do tempo:

• No início (2022-2023): Todo mundo estava preocupado com raciocínio e viés social (se o robô é "racista" ou "burro").
• Agora (2024-2025): A preocupação mudou para segurança e controle. Com o lançamento de modelos mais poderosos (como o GPT-4), o medo não é mais apenas se eles são burros, mas se eles são perigosos.
  • Analogia: Antes, a gente se preocupava se o carro novo tinha o motor potente. Agora, com o motor superpotente, a preocupação virou: "Será que os freios funcionam? Será que ele não vai sair da pista e atropelar alguém?"
• O Novo Fenômeno: A Multimodalidade (robôs que veem imagens e ouvem sons) está trazendo novos problemas. É como dar olhos e ouvidos para a criança superinteligente; agora ela pode "alucinar" sobre o que vê em uma foto, não apenas sobre o que lê.

5. A Conclusão: Estamos no Caminho Certo?

O estudo é otimista, mas realista.

• O que significa: O fato de haver tantos estudos sobre os erros mostra que a comunidade científica está madura. Não estamos mais apenas "fazendo barulho" com a tecnologia nova; estamos inspecionando a obra antes de entregar a chave para o cliente.
• O Futuro: Eles criaram um banco de dados público com todos esses resumos classificados. É como se tivessem deixado um mapa do tesouro para que outros pesquisadores saibam exatamente onde estão as armadilhas e como evitá-las.

Em resumo:
Este artigo é um mapa que diz: "Olhem, construímos máquinas incríveis, mas elas ainda têm defeitos graves. Estamos estudando esses defeitos mais rápido do que nunca, especialmente os relacionados à segurança e à verdade. Se quisermos usar essas máquinas no mundo real (hospitais, tribunais, escolas), precisamos consertar esses freios antes de acelerar."

Resumo técnico

1. O Problema

Com o crescimento explosivo da pesquisa e implantação de Grandes Modelos de Linguagem (LLMs), surgiram preocupações críticas sobre suas limitações, como falhas de raciocínio, alucinações, vieses sociais, problemas de segurança e dificuldades em contextos longos. Embora existam revisões de literatura sobre LLMs em geral ou sobre limitações específicas (como apenas raciocínio ou apenas alucinações), o campo carece de uma visão abrangente, sistemática e atualizada que cubra o período de 2022 a 2025. A escala massiva de publicações (dezenas de milhares de artigos anualmente) torna as revisões manuais tradicionais inviáveis para manter uma visão de conjunto atualizada sobre como as limitações estão sendo estudadas e evoluindo.

2. Metodologia

Os autores adotaram uma abordagem orientada por dados e "bottom-up" (de baixo para cima), utilizando um pipeline de revisão de literatura semi-automatizado. O processo envolveu quatro etapas principais:

1. Coleta de Dados:

   • Foram recuperados 246.799 artigos de duas fontes principais: ACL Anthology (focado em NLP, 2022-2024) e arXiv (multidisciplinar, 2022 até início de 2025).
   • As categorias do arXiv incluíram CS.CL, CS.LG, CS.AI e CS.CV.

2. Filtragem e Classificação (Pipeline Híbrido):

   • Filtragem por Palavras-chave: Um conjunto iterativo de 90 palavras-chave (gerado via TNT-KID e refinado estatisticamente) foi usado para reduzir o corpus para 64.110 artigos relevantes para LLMs.
   • Classificação por LLM: Os resumos dos artigos filtrados foram classificados por um LLM (Llama-3.1-70B-Instruct) em uma escala de 0 a 5 para avaliar a profundidade da discussão sobre limitações.
   • Validação Humana: Um conjunto de ouro de 445 artigos foi anotado manualmente por especialistas para validar a classificação do LLM. O modelo Llama-3.1-70B alcançou um Kappa ponderado de 0,74, comparável à concordância entre humanos (0,75).
   • Resultado Final: Identificaram-se 14.648 artigos que discutem limitações de LLMs (LLLMs).

3. Agrupamento (Clustering) e Análise de Tópicos:

   • Para identificar os temas de limitação, foram utilizadas duas abordagens distintas para mitigar viés metodológico:
     • HDBSCAN + BERTopic: Um método de agrupamento denso baseado em embeddings, atribuindo um único rótulo por artigo.
     • LlooM (LLM-based Concept Induction): Um método que usa LLMs para induzir conceitos e permite atribuição de múltiplos rótulos (multi-label) aos artigos.
   • Os dados de entrada para o clustering foram os trechos de evidência extraídos dos resumos (onde as limitações são discutidas) enriquecidos com frases-chave geradas por LLM.

4. Análise de Tendências:

   • Análise temporal das proporções de tópicos ao longo do tempo (2022-2025) em ambos os datasets, utilizando testes estatísticos (Mann-Kendall) para detectar tendências significativas.

3. Principais Contribuições

• Conjunto de Dados Anotado: Liberação de um dataset de grande escala com resumos de artigos rotulados com informações sobre limitações de LLMs.
• Metodologia Validada: Uma pipeline de anotação baseada em LLM validada contra especialistas humanos, demonstrando viabilidade para análise de corpus em larga escala.
• Visão Quantitativa Abrangente: A primeira revisão sistemática que cobre o período de 2022 a 2025, oferecendo insights quantitativos sobre a evolução da pesquisa de limitações.
• Comparação Metodológica: Uma análise rigorosa comparando dois métodos de clustering (HDBSCAN vs. LlooM), validando a robustez das descobertas principais.

4. Resultados Chave

A. Crescimento Explosivo da Pesquisa

• A pesquisa sobre limitações de LLMs (LLLMs) cresceu mais rápido do que a pesquisa geral sobre LLMs.
• Entre 2022 e 2025, a proporção de artigos sobre LLMs aumentou mais de 5x na ACL e quase 8x no arXiv.
• Os artigos focados em limitações aumentaram 12x na ACL e 28x no arXiv. Em 2025, mais de 30% de todos os artigos sobre LLMs tratam especificamente de limitações.

B. Tópicos Dominantes

• Raciocínio (Reasoning): É o tópico mais estudado em ambos os datasets (ACL e arXiv).
• Outros Tópicos Principais: Generalização, Alucinação (Hallucination), Viés (Bias) e Segurança (Security).
• Diferenças entre Datasets:
  • ACL: A distribuição de tópicos permaneceu relativamente estável ao longo do tempo.
  • arXiv: Mostrou um aumento significativo em preocupações relacionadas a segurança, alinhamento, edição de conhecimento e multimodalidade.

C. Tendências Temporais

• Estabilização Pós-2023: Após o lançamento do ChatGPT (final de 2022) e modelos subsequentes (GPT-4, LLaMA), a volatilidade inicial diminuiu e os tópicos estabilizaram ou cresceram de forma consistente a partir de meados de 2023.
• Crescimento Específico:
  • No arXiv, tópicos como Multimodalidade, Riscos de Segurança, Limitações de Alinhamento e Edição de Conhecimento mostraram tendências de crescimento estatisticamente significativo.
  • No ACL, o foco em Contexto Longo (Long Context) aumentou significativamente.
• Declínio Relativo: Tópicos como "Viés e Equidade" e "Limitações Linguísticas e Culturais" mostraram declínio ou estabilização no arXiv após picos iniciais, sugerindo uma mudança de foco para questões de segurança e controle.

D. Consistência Metodológica

• Apesar das diferenças entre HDBSCAN (agrupamento único) e LlooM (agrupamento múltiplo), ambos os métodos identificaram os mesmos grandes clusters de tópicos (Raciocínio, Alucinação, Riscos de Segurança) e padrões de tendência semelhantes, confirmando a confiabilidade dos achados.

5. Significado e Impacto

Este trabalho sinaliza uma maturação da pesquisa em LLMs. O campo está evoluindo de um foco inicial puramente em capacidades e desempenho para uma crítica rigorosa e sistemática das falhas e riscos.

• Para Pesquisadores: Oferece um mapa claro de onde a comunidade está focando (ex: segurança e alinhamento estão em ascensão) e onde há lacunas.
• Para Desenvolvedores e Reguladores: Destaca a necessidade urgente de abordar alucinações, vieses e vulnerabilidades de segurança, especialmente à medida que os modelos são implantados em domínios sensíveis (saúde, direito, finanças).
• Metodológico: Demonstra que o uso de LLMs para analisar a literatura científica sobre LLMs é viável e preciso quando validado corretamente, abrindo caminho para revisões de literatura contínuas e automatizadas.

Em resumo, o artigo estabelece que a comunidade científica não está apenas construindo modelos maiores, mas está cada vez mais engajada em entender e mitigar suas falhas fundamentais, com um foco crescente na segurança, controle e confiabilidade dos sistemas.